중복 콘텐츠와 캐노니컬 태그: 색인에 미치는 영향

중복 콘텐츠는 완전한 복사-붙여넣기인 경우가 드뭅니다

대부분의 중복 콘텐츠는 완전히 똑같은 글 두 개가 아니라, 여러 URL을 통해 도달할 수 있는 같은 페이지입니다: www가 있는 버전과 없는 버전, 끝에 슬래시가 있는 버전과 없는 버전, http와 https, 추적 매개변수나 정렬 매개변수가 붙은 버전, 또는 별도의 URL을 가진 인쇄용 버전 등입니다. 크롤러 입장에서는 이 각각이 우연히 같은 콘텐츠를 렌더링하는 별개의 URL일 뿐입니다.

순위뿐 아니라 색인에도 악영향을 미치는 이유

흔히들 중복 콘텐츠는 순위 신호를 여러 버전 사이에 나눌 뿐이라고 생각합니다. 하지만 실제로 검색엔진은 한 걸음 더 나아가 한 버전만 골라 색인하고 나머지는 대부분 무시하는 경우가 많으며, 이때 선택되는 버전이 반드시 원했던 버전이라는 보장은 없습니다. 이는 페이지가 "크롤링됨 - 현재 색인이 생성되지 않음" 상태에 머무는, 상대적으로 잘 알려지지 않았지만 흔한 원인 중 하나입니다: 페이지가 크롤링되었지만 다른 URL과 동등한 것으로 인식되어 그쪽을 위해 그냥 제외된 것입니다.

캐노니컬 태그가 실제로 하는 일

<link rel="canonical" href="..."> 태그는 크롤러에게 이렇게 알려줍니다: 여러 URL이 이 페이지로 이어질 수 있지만, 색인되고 신뢰를 얻어야 할 버전은 바로 이 URL이라는 것입니다. 색인 가능한 모든 페이지는 캐노니컬 태그를 가져야 하며, 자기 자신을 가리키는 자기 참조 캐노니컬도 포함됩니다 — 그래야 페이지의 콘텐츠 자체가 어떤 URL을 대표 URL로 여기는지에 대해 모호함이 전혀 없게 됩니다.

이는 힌트일 뿐, 지시가 아닙니다

검색엔진은 캐노니컬 태그를 사이트맵과 마찬가지로 절대적인 규칙이 아니라 강력한 신호로 취급합니다. 다른 강력한 신호가 이와 어긋난다면(예를 들어 대부분의 외부 백링크가 비캐노니컬 버전을 가리키는 경우), 검색엔진은 지정한 URL과 다른 URL을 색인하기로 선택할 수 있습니다. 캐노니컬 태그는 페이지의 다른 모든 신호와 일치할 때 가장 잘 작동합니다: 내부 링크, 사이트맵 항목, 리디렉션이 모두 같은 URL을 가리켜야 합니다.

흔한 캐노니컬화 실수

• 다른 곳으로 리디렉션되는 URL을 캐노니컬 태그로 지정하는 것입니다 — 크롤러가 리디렉션 체인을 따라가야 하므로, 모호함을 없애야 할 신호에 오히려 마찰이 생깁니다.
• 그 자체로 noindex 태그가 있는 페이지를 캐노니컬 태그로 지정하는 것입니다 — 서로 모순되는 신호 조합이 되어 두 버전 모두 색인되지 않을 수 있습니다.
• 각 페이지가 실제로 고유하고 색인할 가치가 있는 콘텐츠를 갖고 있음에도, 페이지네이션된 시리즈 전체에서 캐노니컬이 일관되지 않은 것입니다(모든 페이지가 1페이지를 가리키는 경우).
• 모든 페이지를 홈페이지로 캐노니컬화하는 사이트 전체의 템플릿 버그입니다 — 드물지만 치명적이며, 템플릿을 변경한 후에는 확인해 볼 가치가 있습니다.

앞으로 이를 해결하는 방법

도메인의 캐노니컬 형태를 하나 정하고(www 포함 여부, 끝 슬래시 포함 여부) 서버 단에서 다른 모든 변형을 그쪽으로 리디렉션하세요 — 캐노니컬 태그는 보조 신호일 뿐, 애초에 중복 URL을 200 응답으로 제공하지 않는 것을 대체하지는 못합니다. 이것이 일관되게 정리되면, 사이트맵에도 각 페이지의 캐노니컬 버전만 나열되도록 하세요 — 비캐노니컬 URL을 나열하면 페이지 자체의 캐노니컬 태그와 정면으로 모순되는 신호를 보내게 됩니다.