Бюджет сканирования: что это такое и когда о нём действительно стоит беспокоиться

Что такое бюджет сканирования на самом деле

Бюджет сканирования — это сочетание двух вещей: сколько запросов сканер Google готов делать вашему серверу, не перегружая его, и насколько сильно Google вообще хочет сканировать ваш сайт, исходя из его популярности и частоты изменения контента. Он определяет, какая часть крупного сайта сканируется и как быстро в любой конкретный день — а не может ли конкретная страница вообще быть проиндексирована.

Проверка реальности, которая нужна большинству сайтов

Для сайта с несколькими тысячами URL или меньше бюджет сканирования почти никогда не является реальным узким местом — Google, как правило, может просканировать сайт такого размера в течение дня даже без какой-либо оптимизации. Если страница на небольшом сайте не индексируется, гораздо более вероятная причина — качество контента, техническая блокировка или проблема обнаружения (нет внутренних ссылок, ведущих на неё) — см. почему Google не индексирует ваш сайт, прежде чем предполагать, что проблема именно в бюджете сканирования.

Когда это действительно важно

• Крупные сайты — десятки тысяч URL и более, — где сканер просто не может охватывать каждую страницу так часто, как хотелось бы.
• Сайты с интенсивной фасетной навигацией или URL-параметрами (порядок сортировки, фильтры, идентификаторы сессий), умножающие горстку реальных страниц в огромное количество почти дублирующихся сканируемых URL.
• Сайты, публикующие или обновляющие контент достаточно часто, чтобы актуальность повторного сканирования, а не только первоначальное обнаружение, была реальной целью.

Как проверить, действительно ли это ваше узкое место

Откройте Настройки → Статистика сканирования в Search Console и сравните среднее количество страниц, сканируемых в день, с общим числом ваших индексируемых URL. Если на вашем сайте 200 000 URL, а Google сканирует 2000 в день, бюджет — реальное ограничение. Если у вас 300 URL, это не так — независимо от того, как выглядит график статистики сканирования.

Решения для сайтов, действительно испытывающих ограничения

• Заблокируйте малоценные комбинации параметров и бесконечные URL фильтров/сортировки в robots.txt — см. robots.txt против noindex.
• Объедините почти дублирующиеся URL с помощью канонических тегов, вместо того чтобы предоставлять Google сканировать и оценивать каждый вариант отдельно — см. дублирующийся контент и канонические теги.
• Исправьте медленное время отклика сервера — более быстрый сервер напрямую повышает лимит частоты сканирования, который Google готов использовать.
• Удалите или закройте от индексации действительно скудные, малоценные страницы, расходующие внимание сканера, но никогда не заслуживающие ранжирования.

Бюджет сканирования — не единственный рычаг для нового контента

Ожидание, пока сканер по собственному расписанию приоритизирует новый или обновлённый URL, — это именно то ограничение, которое описывает бюджет сканирования. IndexNow обходит его для самых важных URL, напрямую уведомляя поддерживающие поисковые системы в момент готовности страницы, вместо ожидания повторного сканирования и пересмотра по их расписанию. См. как быстро проиндексировать новую запись для пошаговой версии.