Бюджет сканування: що це таке і коли справді варто про нього турбуватися

Що насправді таке бюджет сканування

Бюджет сканування — поєднання двох речей: скільки запитів готовий робити сканер Google до вашого сервера, не перевантажуючи його, і наскільки Google справді хоче сканувати ваш сайт, залежно від його популярності та частоти зміни контенту. Він визначає, яка частина великого сайту буде сканована й наскільки швидко в будь-який конкретний день, — а не чи може бути проіндексована конкретна сторінка взагалі.

Перевірка реальності, потрібна більшості сайтів

Для сайту з кількома тисячами URL-адрес або менше бюджет сканування майже ніколи не є справжнім вузьким місцем — Google зазвичай може просканувати сайт такого розміру повністю протягом дня навіть без жодної оптимізації. Якщо сторінка на малому сайті не індексується, набагато ймовірніша причина — якість контенту, технічне блокування або виявлення (жодних внутрішніх посилань на неї) — див. чому Google не індексує ваш сайт, перш ніж припускати, що проблема в бюджеті сканування.

Коли це справді має значення

• Великі сайти — десятки тисяч URL-адрес або більше, — де сканер просто не може досягати кожної сторінки так часто, як хотілося б.
• Сайти з інтенсивною фасетною навігацією чи параметрами URL-адрес (порядок сортування, фільтри, ідентифікатори сесій), що перетворюють жменьку реальних сторінок на величезну кількість майже дубльованих URL-адрес, доступних для сканування.
• Сайти, що публікують чи оновлюють контент достатньо часто, щоб актуальність повторного сканування, а не лише початкове виявлення, і була справжньою метою.

Як перевірити, чи це справді ваше вузьке місце

Відкрийте Налаштування → Статистика сканування в Search Console і порівняйте середню кількість сторінок, сканованих за день, із загальною кількістю ваших URL-адрес, доступних для індексації. Якщо на вашому сайті 200 000 URL-адрес, а Google сканує 2000 на день, бюджет — реальне обмеження. Якщо у вас 300 URL-адрес — ні, незалежно від того, як виглядає графік статистики сканування.

Виправлення для сайтів, що справді обмежені

• Блокуйте малоцінні комбінації параметрів і нескінченні URL-адреси фільтрів/сортування в robots.txt — див. robots.txt проти noindex.
• Об'єднуйте майже дубльовані URL-адреси канонічними тегами, замість того щоб дозволяти Google сканувати та оцінювати кожен варіант окремо — див. дубльований контент і канонічні теги.
• Виправляйте повільний час відповіді сервера — швидший сервер напряму підвищує ліміт частоти сканування, який готовий використовувати Google.
• Видаляйте або позначайте noindex справді бідні, малоцінні сторінки, що споживають увагу сканера, ніколи не будучи вартими ранжування.

Бюджет сканування — не єдиний важіль для нового контенту

Очікування, поки сканер сам пріоритезує нову чи оновлену URL-адресу за власним графіком, — це якраз те обмеження, яке описує бюджет сканування. IndexNow обходить його для найважливіших URL-адрес, напряму сповіщаючи підтримувані пошукові системи в момент готовності сторінки, замість очікування повторного сканування та розгляду за їхнім графіком. Див. як швидко проіндексувати новий допис для покрокової версії.