Robots.txt와 Noindex의 차이점 (그리고 각각 언제 사용해야 할까)

이 둘은 서로 다른 문제를 해결합니다

robots.txt는 크롤링을 제어합니다 — 검색엔진 봇이 URL을 아예 가져올 수 있는지 여부입니다. noindex 태그는 색인을 제어합니다 — 이미 크롤링된 페이지가 검색 결과에 나타날 수 있는지 여부입니다. 이 둘을 혼동하는 것은 없애고 싶었던 페이지가 검색 결과에 계속 남아 있거나, 반대로 발견되기를 원했던 페이지가 보이지 않게 되는 가장 흔한 원인 중 하나입니다.

robots.txt가 실제로 하는 일

robots.txt의 Disallow 규칙은 예의 바른 크롤러에게 해당 URL을 가져오지 말라고 요청하는 것입니다. 이미 색인된 페이지를 제거하지는 않습니다. Google이 차단되기 전에 이미 URL을 색인했거나, 다른 곳에서 링크된 것을 발견해 페이지를 실제로 가져오지 않고도 URL과 앵커 텍스트만 색인한 경우, Google은 차단을 존중해 다시 크롤링해 확인하지 않으므로 대개 제목이나 설명 없이 그 URL을 검색 결과에 무기한 계속 표시할 수 있습니다.

noindex가 실제로 하는 일

<meta name="robots" content="noindex"> 태그(또는 이에 상응하는 X-Robots-Tag HTTP 헤더)는 이미 페이지를 가져온 크롤러에게 명시적으로 이렇게 말합니다: 이 페이지를 읽는 것은 괜찮지만 색인에는 넣지 말라는 뜻입니다. 이는 페이지를 검색 결과에서 제거하는 확실한 방법입니다 — 단, 애초에 크롤러가 페이지를 가져와 그 태그를 볼 수 있어야만 가능합니다.

고전적인 실수: noindex도 설정한 페이지를 차단하기

URL이 robots.txt에서 차단되어 있으면서 동시에 noindex 태그도 있다면, noindex 태그는 절대 읽히지 않습니다 — 크롤러는 페이지를 아예 가져오지 말라는 지시를 받았으므로, 그 페이지에 담긴 지시를 볼 수가 없습니다. 페이지가 이미 색인되어 있었거나 다른 곳에서 링크되어 있다면, Google이 이를 제거하려면 접근이 차단된 태그를 읽어야 하므로 다른 방법이 없어 색인 상태가 그대로 유지될 수 있습니다. 이는 사이트가 저가치 페이지를 몇 달 동안 의도치 않게 검색 결과에 계속 남겨두는 실제로 흔한 원인입니다.

robots.txt를 사용해야 할 때

• 대규모 사이트에서 크롤링 예산을 관리할 때 — 저가치, 대용량 경로(내부 검색 결과, 패싯 필터 조합)에서 크롤러를 멀리하게 하여 정말 중요한 페이지에 더 많은 시간을 쓰도록 합니다.
• 스테이징 환경, 관리자 경로, API 엔드포인트를 완전히 차단할 때입니다.
• 콘텐츠 확인조차 원하지 않아 절대 크롤링되지 않기를 바라는 페이지 — 크롤링 자체가 양쪽 모두에 리소스를 소모하기 때문입니다.

noindex를 사용해야 할 때

• 존재하고 크롤링은 가능해야 하지만(내부 링크, 사용자, 사이트 구조를 위해) 검색 결과에는 절대 나타나지 않아야 하는 페이지입니다: 태그/카테고리 보관함, 첫 페이지 이후의 페이지네이션, 감사 페이지 등입니다.
• 완전히 삭제할 준비는 안 됐지만 방문자와 내부 도구는 계속 접근할 수 있어야 하는 빈약하거나 중복된 콘텐츠입니다.
• 이미 색인된 페이지를 제거할 때입니다 — 이는 페이지가 계속 크롤링 가능한 상태여야만, 즉 Google이 실제로 태그를 볼 수 있어야만 작동합니다.

빠른 판단 기준

이렇게 자문해 보세요: 크롤러가 이 페이지를 어떻게 처리할지 알기 위해 읽어야 하는가? noindex 태그처럼 지시가 페이지 자체 콘텐츠를 보는 것에 달려 있다면, robots.txt는 크롤링을 허용해야 합니다. 페이지 내용과 관계없이 크롤링 자체를 막고 싶다면 robots.txt가 올바른 도구이며, 이 경우 noindex는 어차피 읽히지 않으므로 불필요합니다. 완전히 원치 않는 콘텐츠가 아니라 크롤링은 가능하되 중복된 콘텐츠라면, 대개 캐노니컬 태그가 둘보다 더 적합한 도구입니다.