크롤링 예산: 정의와 실제로 신경 써야 할 시점

크롤링 예산이 실제로 무엇인지

크롤링 예산은 두 가지 요소의 조합입니다: Google 크롤러가 서버에 과부하를 주지 않고 보낼 수 있는 요청 수, 그리고 사이트의 인기도와 콘텐츠 변경 빈도에 따라 Google이 실제로 사이트를 얼마나 크롤링하고 싶어 하는지입니다. 이는 특정 페이지가 색인될 수 있는지 여부가 아니라, 대규모 사이트의 얼마만큼이 하루 동안 얼마나 빨리 크롤링되는지를 결정합니다.

대부분의 사이트에 필요한 현실 점검

URL이 수천 개 이하인 사이트라면 크롤링 예산이 실제 병목이 되는 경우는 거의 없습니다 — Google은 별다른 최적화 없이도 그 정도 규모의 사이트를 대개 하루 안에 충분히 크롤링할 수 있습니다. 소규모 사이트의 페이지가 색인되지 않는다면, 크롤링 예산 문제라고 단정하기 전에 콘텐츠 품질, 기술적 차단, 또는 발견 문제(연결된 내부 링크 없음)일 가능성이 훨씬 크므로 Google이 내 사이트를 색인하지 않는 이유를 먼저 확인하세요.

진짜로 중요한 경우

• URL이 수만 개 이상인 대규모 사이트로, 크롤러가 원하는 만큼 자주 모든 페이지에 도달할 수 없는 경우입니다.
• 패싯 내비게이션이나 URL 매개변수(정렬 순서, 필터, 세션 ID)가 많아 소수의 실제 페이지가 거의 중복된 크롤링 가능 URL 수천 개로 불어나는 사이트입니다.
• 콘텐츠를 자주 게시하거나 업데이트해서, 최초 발견뿐 아니라 최신 상태 유지를 위한 재크롤링이 실제 목표인 사이트입니다.

실제로 이것이 병목인지 확인하는 방법

Search Console에서 설정 → 크롤링 통계를 열고, 하루 평균 크롤링된 페이지 수를 색인 가능한 URL 총개수와 비교해 보세요. 사이트에 URL이 20만 개 있고 Google이 하루에 2,000개를 크롤링하고 있다면, 예산이 실제 제약입니다. URL이 300개라면 크롤링 통계 그래프가 어떻게 보이든 그렇지 않습니다.

진짜로 제약이 있는 사이트를 위한 해결 방법

• robots.txt에서 저가치 매개변수 조합과 끝없는 필터/정렬 URL을 차단하세요 — robots.txt와 noindex의 차이를 참고하세요.
• Google이 각 변형을 따로 크롤링하고 평가하도록 방치하지 말고, 캐노니컬 태그로 거의 중복된 URL을 통합하세요 — 중복 콘텐츠와 캐노니컬 태그를 참고하세요.
• 느린 서버 응답 시간을 개선하세요 — 서버가 빨라지면 Google이 사용하려는 크롤링 속도 제한이 직접적으로 높아집니다.
• 순위에 오를 가치가 전혀 없으면서 크롤링 관심을 소모하는 진짜로 빈약하고 저가치인 페이지는 정리하거나 noindex 처리하세요.

새 콘텐츠를 위한 유일한 수단이 크롤링 예산만은 아닙니다

크롤러가 자체 일정에 따라 새 URL이나 업데이트된 URL의 우선순위를 정해주기를 기다리는 것이야말로 크롤링 예산이 의미하는 바로 그 제약입니다. IndexNow는 페이지가 준비되는 즉시 이를 지원하는 검색엔진에 직접 알림으로써, 가장 중요한 URL에 한해 이 제약을 우회합니다 — 검색엔진의 일정에 따라 재크롤링되고 재평가되기를 기다릴 필요가 없습니다. 단계별 방법은 새 게시물을 빠르게 색인시키는 방법을 참고하세요.