Дублирующийся контент и канонические теги: как они влияют на индексацию

Дублирующийся контент редко бывает полным копипастом

Чаще всего дублирующийся контент — это не две идентичные статьи, а одна и та же страница, доступная по нескольким URL: с www и без него, со завершающим слэшем и без него, по http и https, с добавленными параметрами отслеживания или сортировки, либо версия для печати на собственном URL. Для сканера каждый из этих адресов — отдельный URL, который просто отображает одинаковый контент.

Почему это вредит индексации, а не только ранжированию

Распространённое предположение — что дублирующийся контент просто делит сигналы ранжирования между версиями. На практике поисковые системы часто идут дальше и просто выбирают одну версию для индексации, во многом игнорируя остальные — и этот выбор не гарантированно совпадает с версией, которую хотели именно вы. Это одна из более распространённых, менее очевидных причин, стоящих за статусом «Просканировано — сейчас не проиндексировано»: страница была просканирована, распознана как эквивалент другого URL и просто отброшена в пользу него.

Что на самом деле делает канонический тег

Тег <link rel="canonical" href="..."> сообщает сканеру: несколько URL могут вести сюда, но именно эта конкретная версия должна индексироваться и получать признание. Каждая индексируемая страница должна нести канонический тег — включая самоссылающийся, указывающий на саму себя — чтобы никогда не возникало неоднозначности в том, какой URL собственный контент страницы считает авторитетным.

Это подсказка, а не директива

Поисковые системы воспринимают канонические теги как сильный сигнал, а не абсолютное правило — во многом как и карту сайта. Если другие сильные сигналы противоречат (например, большинство внешних обратных ссылок ведут на неканоническую версию), поисковая система может выбрать индексацию другого URL, чем тот, который вы указали. Канонические теги работают лучше всего, когда они согласуются со всеми остальными сигналами на странице: внутренними ссылками, записью в карте сайта и редиректами — все они должны указывать на один и тот же URL.

Распространённые ошибки канонизации

• Указание канонического тега на URL, который перенаправляет в другое место — сканеру приходится проходить всю цепочку, что добавляет трудности сигналу, который должен устранять неоднозначность.
• Указание канонического тега на страницу, которая сама имеет тег noindex — противоречивая пара сигналов, из-за которой обе версии могут остаться непроиндексированными.
• Непоследовательные канонические теги в серии страниц с пагинацией (каждая страница указывает обратно на страницу 1), когда каждая страница на самом деле содержит уникальный, индексируемый контент, который стоит держать отдельно.
• Ошибка общесайтового шаблона, канонизирующая каждую страницу на главную — редкая, но катастрофическая, стоит выборочно проверить после любого изменения шаблонов.

Исправление на будущее

Выберите одну каноническую форму для своего домена (с www или без, со слэшем в конце или без) и перенаправляйте каждый другой вариант на неё на уровне сервера — канонический тег является вторичным сигналом, а не заменой того, чтобы изначально не отдавать дублирующиеся URL с ответом 200. Как только это станет последовательным, убедитесь, что ваша карта сайта всегда перечисляет только каноническую версию каждой страницы — указание неканонического URL посылает сигнал, напрямую противоречащий собственному каноническому тегу страницы.