더 빠르고 깔끔한 색인을 위한 XML 사이트맵 모범 사례

사이트맵은 힌트일 뿐, 보장이 아닙니다

검색엔진은 사이트맵을 명령이 아니라 강력한 발견 신호로 취급합니다. 사이트맵이 저품질 페이지의 색인을 강제하지는 않습니다 — 사이트맵이 하는 일은 어떤 URL을 캐노니컬로 여기고 크롤링할 가치가 있다고 생각하는지에 대한 불확실성을 없애는 것이며, 이는 규모가 크거나 새로 생긴 사이트에서 특히 중요합니다.

포함해야 할 것

• 캐노니컬 URL만 포함하세요 — 색인되기를 원하는 정확한 버전입니다.
• 200 상태를 반환하고 실제로 색인 가능한 URL만 포함하세요(noindex 태그가 없고, robots.txt에 차단되지 않은 URL).
• 정확한 lastmod 날짜를 사용하세요 — 배포할 때마다가 아니라 페이지 콘텐츠가 실질적으로 변경될 때만 업데이트하세요.

제외해야 할 것

• noindex 태그가 있는 페이지 — 사이트맵에 포함하면 서로 모순되는 신호를 보내게 됩니다.
• 리디렉션되거나 404를 반환하는 URL — 발견에 도움이 되기는커녕 사이트맵 오류로 보고됩니다.
• 같은 페이지의 중복 버전이나 매개변수가 붙은 변형(정렬 순서, 세션 ID, 추적 매개변수) — 캐노니컬 버전 하나만 나열하세요.
• 고유 콘텐츠가 거의 없는 빈약한 자동 생성 페이지 — "크롤링됨 - 현재 색인이 생성되지 않음"의 흔한 원인이며, 이런 페이지를 수백 개 포함하면 정말 중요한 페이지에 대한 사이트맵의 신호가 희석됩니다.

크기 제한

사이트맵 파일 하나는 URL 5만 개, 압축 전 크기 50MB로 제한됩니다. 더 큰 사이트는 하나의 거대한 파일 대신 여러 개의 하위 사이트맵을 나열하는 사이트맵 색인 파일이 필요합니다. 대부분의 프레임워크(이 사이트를 포함해서)는 이를 자동으로 생성하지만, 직접 만들고 있다면 확인해 볼 가치가 있습니다.

제출하고 유지 관리하기

Google Search Console과 Bing Webmaster Tools 양쪽에 한 번씩 제출하고, robots.txt에 사이트맵을 가리키는 Sitemap: 줄을 추가하세요 — 그러면 사전 제출 없이 사이트를 독자적으로 발견한 크롤러도 사이트맵의 위치를 찾을 수 있습니다. 그 이후에는 콘텐츠가 변경될 때 사이트맵이 자동으로 재생성되어야 합니다 — 수작업으로 관리하는 사이트맵은 거의 항상 오래된 상태가 됩니다.

크롤링 예산을 조용히 낭비하는 흔한 실수

• 출시 시점에 한 번만 생성하고 페이지가 추가되거나 삭제되어도 업데이트하지 않는 것입니다.
• 모든 빌드마다 모든 URL의 lastmod를 현재 날짜로 설정하는 것입니다 — 이는 크롤러가 이 필드를 실제 변경 신호로 신뢰하지 않게 만듭니다.
• URL 구조가 크게 변경된 후(예: 도메인 이전이나 고유주소 변경) 재제출을 잊는 것입니다 — Google이 결국 스스로 알아차리기는 하지만, 재제출하면 전환 속도가 빨라집니다.