robots.txt Disallow: /search 한 줄이 블로그스팟 글 7편의 진입로를 막았다
블로거 기본 robots.txt에는 Disallow: /search가 들어 있다. 라벨 페이지와 검색 결과 페이지를 막는 줄이다. 중복 콘텐츠를 막으려는 것이고 풀 이유가 없다고 생각했다. 그 판단이 반쪽이었다. 그 줄이 글 7편의 진입로를 막고 있었다. 처음 본 것 서치콘솔 「페이지」에 「robots.txt에 의해 차단됨」 6건이 떠 있었다. 열어 보니 전부 /search 경로였다. /search/label/PDF /search/label/사진 /search/label/정부24 /search /search/label/와이파이 /search/label/생활IT 글은 … 더 읽기