Лучшие практики XML-карты сайта для более быстрой и чистой индексации

Карта сайта — это подсказка, а не гарантия

Поисковые системы воспринимают карту сайта как сильный сигнал для обнаружения, а не команду. Она не заставит индексировать низкокачественные страницы — она устраняет любые сомнения в том, какие URL вы считаете каноническими и заслуживающими сканирования, что особенно важно для крупных или новых сайтов.

Что включать

• Только канонические URL — именно ту версию, которую вы хотите индексировать.
• Только URL, возвращающие статус 200 и действительно доступные для индексации (без тега noindex, не заблокированные robots.txt).
• Точную дату lastmod — обновляйте её только при существенном изменении содержимого страницы, а не при каждом деплое.

Что исключать

• Страницы с тегом noindex — включение такой страницы в карту сайта посылает противоречивый сигнал.
• URL, которые перенаправляют или возвращают 404 — они регистрируются как ошибки карты сайта вместо того, чтобы помогать обнаружению.
• Дублирующиеся или параметризованные варианты одной и той же страницы (порядок сортировки, идентификаторы сессий, параметры отслеживания) — указывайте только единственную каноническую версию.
• Скудные, автоматически сгенерированные страницы с малым объёмом уникального контента — они частая причина статуса «Просканировано — сейчас не проиндексировано», и включение сотен таких страниц размывает сигнал карты сайта для действительно важных страниц.

Ограничения по размеру

Один файл карты сайта ограничен 50 000 URL и 50 МБ в несжатом виде. Крупным сайтам нужен индексный файл карты сайта — один файл, содержащий список нескольких дочерних карт сайта — вместо одного гигантского файла. Большинство фреймворков (включая этот сайт) генерируют это автоматически, но стоит проверить, если вы создаёте карту сайта вручную.

Отправка и поддержание карты сайта

Отправьте её один раз как в Google Search Console, так и в Bing Webmaster Tools, и добавьте строку Sitemap: в ваш robots.txt, указывающую на неё — так любой сканер, самостоятельно обнаруживший ваш сайт без предварительной отправки, тоже сможет её найти. После этого карта сайта должна регенерироваться автоматически по мере изменения контента; карта сайта, поддерживаемая вручную, почти всегда устаревает.

Распространённые ошибки, незаметно расходующие бюджет сканирования

• Создание карты сайта один раз при запуске и отсутствие обновлений по мере добавления или удаления страниц.
• Установка даты lastmod для каждого URL на текущую дату при каждой сборке — это приучает сканеры перестать доверять этому полю как реальному сигналу изменений.
• Забывание повторно отправить карту сайта после серьёзной реструктуризации URL (например, миграции домена или изменения структуры постоянных ссылок) — Google в конце концов заметит это сам, но повторная отправка ускоряет переход.