robots.txt Disallow: /search 한 줄이 블로그스팟 글 7편의 진입로를 막았다

실측일 2026-09-04 — 도구와 화면은 그 뒤로 바뀌었을 수 있다.

블로거 기본 robots.txt에는 Disallow: /search가 들어 있다. 라벨 페이지와 검색 결과 페이지를 막는 줄이다. 중복 콘텐츠를 막으려는 것이고 풀 이유가 없다고 생각했다. 그 판단이 반쪽이었다. 그 줄이 글 7편의 진입로를 막고 있었다.

처음 본 것

서치콘솔 「페이지」에 「robots.txt에 의해 차단됨」 6건이 떠 있었다. 열어 보니 전부 /search 경로였다.

/search/label/PDF
/search/label/사진
/search/label/정부24
/search
/search/label/와이파이
/search/label/생활IT

글은 한 편도 없다. 라벨 페이지가 색인에서 빠지는 건 의도한 결과다. 여기까지 보고 「게이트와 무관」이라고 적고 넘어갔다.

색인이 늘지 않아서 버킷별 URL을 전부 뽑았다. 22편 중 17편이 7월 1일에 「발견」된 뒤 한 번도 크롤되지 않았다. 최종 크롤 「해당사항 없음」. 발견은 됐는데 구글이 찾아오질 않는 상태.

라이브 HTML에서 홈에서 각 글까지 가는 경로를 셌다.

경로	상태
홈 → 최신 글	7편만 링크 (기본 설정)
「글 더보기」 페이지네이션	`/search?updated-max=…` → robots.txt로 차단
라벨 링크 7개	`/search/label/…` → 같은 이유로 차단
월별 아카이브	6월 8편 · 7월 4편. 차단 아님

홈에서 옛 글로 가는 길이 셋인데 둘이 막혀 있었다. 합집합을 내면 크롤러가 링크를 타고 닿을 수 있는 글은 15편. 나머지 7편은 사이트맵 말고는 진입로가 없었다.

차단된 건 라벨 페이지 자체가 아니라 그 페이지를 거쳐 가는 글들의 통로였다. 「/search 6건은 글이 아니니 무관」은 그 6개 URL만 본 판단이었다.

robots.txt는 안 건드렸다. /search 차단을 풀면 라벨 페이지 수십 개가 색인 후보로 올라와서 다른 문제가 생긴다. 대신 홈이 직접 링크하는 글 수를 늘렸다.

블로거 설정 → 글 → 「기본 페이지의 최대 게시물 수」 7 → 25.

25로 올렸는데 홈 링크가 16에서 멈춘 이유는 못 밝혔다. 16 + 6월 아카이브 8 + 7월 아카이브 4로 22편이 다 덮여서 더 파지 않았다.

홈 URL 하나만 색인 재요청했다. 링크 7개에서 16개로 내용이 실제로 바뀐 페이지라서다.

다음 스냅샷에서 「발견됨-미색인」 17건이 크롤을 받기 시작했다. 크롤은 됐다. 다만 색인으로 이어지지 않고 「리디렉션 오류」와 「크롤링됨-미색인」으로 갈렸다. 진입로 문제는 풀렸고 남은 건 글 자체의 문제다. 전체 흐름은 서치콘솔 색인 2개 글에.