Robots.txt проти noindex: у чому різниця (і коли використовувати кожен)

Вони вирішують дві різні проблеми

robots.txt керує скануванням — чи дозволено боту пошукової системи взагалі отримати URL-адресу. Тег noindex керує індексацією — чи дозволено сторінці, яка вже скановано, з'являтися в результатах пошуку. Плутанина між ними — одна з найпоширеніших причин, чому сторінка залишається застряглою в результатах пошуку, коли ви хотіли її прибрати, або стає невидимою, коли ви насправді хотіли, щоб її знайшли.

Що насправді робить robots.txt

Правило Disallow у robots.txt просить сумлінні сканери не отримувати URL-адресу. Воно не видаляє вже проіндексовану сторінку. Якщо Google проіндексував URL-адресу до того, як її заблокували, — або знайшов посилання на неї десь ще та проіндексував лише URL-адресу й текст посилання, ніколи не отримуючи саму сторінку, — вона може безстроково залишатися в результатах, зазвичай без заголовка чи опису, оскільки Google поважає блокування й ніколи повторно не сканує сторінку, щоб перевірити.

Що насправді робить noindex

Тег <meta name="robots" content="noindex"> (або еквівалентний HTTP-заголовок X-Robots-Tag) прямо повідомляє сканеру, що вже отримав сторінку: ви можете це прочитати, просто не додавайте це до свого індексу. Це надійний спосіб видалити сторінку з результатів пошуку — але лише якщо сканеру справді дозволено отримати сторінку й побачити тег.

Класична помилка: блокування сторінки, яку ви також позначили noindex

Якщо URL-адреса заблокована в robots.txt і має тег noindex, тег noindex ніколи не буде прочитано — сканеру сказали взагалі не отримувати сторінку, тож він ніколи не побачить інструкцію на ній. Сторінка може залишатися проіндексованою (якщо вона вже була, або на неї є посилання деінде) без жодного способу для Google дізнатися інакше, оскільки видалення вимагає прочитання тегу, доступ до якого заблоковано. Це справді поширений спосіб, у який сайти випадково залишають малоцінні сторінки застряглими в результатах пошуку місяцями.

Коли використовувати robots.txt

• Керування бюджетом сканування на великих сайтах — тримання сканерів подалі від малоцінних, високооб'ємних шляхів (результати внутрішнього пошуку, комбінації фасетних фільтрів), щоб вони більше часу витрачали на важливі сторінки.
• Пряме блокування тестових середовищ, адміністративних маршрутів та кінцевих точок API.
• Сторінки, які ви взагалі не хочете сканувати — навіть щоб перевірити їхній вміст, — оскільки саме сканування споживає ресурси з обох сторін.

Коли використовувати noindex

• Сторінки, які ви хочете, щоб існували й були доступні для сканування — для внутрішнього перелінкування, для користувачів, для структури сайту, — але ніколи не з'являлися в результатах пошуку: архіви тегів/категорій, сторінки пагінації після першої, сторінки подяки.
• Бідний або дубльований контент, який ви не готові повністю видалити, але який має залишатися доступним для відвідувачів і внутрішніх інструментів.
• Видалення сторінки, яка вже проіндексована, — це працює, лише якщо сторінка залишається доступною для сканування, щоб Google справді міг побачити тег.

Швидке правило прийняття рішень

Запитайте себе: чи потрібно сканеру прочитати цю сторінку, щоб знати, що з нею робити? Якщо інструкція залежить від того, що бачить контент самої сторінки (як тег noindex), robots.txt має дозволяти сканування. Якщо ви хочете запобігти самому скануванню — незалежно від того, що на сторінці, — robots.txt правильний інструмент, а noindex зайвий, оскільки його все одно ніколи не прочитають. Для контенту, що доступний для сканування й дубльований, а не небажаний загалом, канонічний тег часто підходить краще, ніж будь-який з них.