Мягкие ошибки 404: что это такое и как их исправить

Что на самом деле означает «мягкая ошибка 404»

Настоящая ошибка 404 сообщает браузеру и поисковым системам через код статуса HTTP, что страница не существует. Мягкая ошибка 404 — это страница, отвечающая кодом 200 OK («вот страница, которую вы запросили»), но чьё фактическое содержимое выглядит как страница ошибки или настолько пустое, что Google решает, что это не настоящая страница, заслуживающая индексации. Google делает вывод о намерении из содержимого, а не полагается только на код статуса.

Почему Google вообще этим занимается

Если ваш сервер утверждает, что каждый URL — это корректный ответ 200, Google не может использовать код статуса, чтобы отличить реальные страницы от неработающих, и ему приходится угадывать по содержимому — тратя усилия на сканирование и индексацию на такие догадки по каждому URL вашего сайта. Мягкие ошибки 404 также часто являются побочным эффектом неправильной настройки, незаметно скрывающим от вас действительно неработающие страницы, поскольку ваши собственные проверки доступности и панели ошибок, вероятно, тоже доверяют коду 200.

Распространённые причины

• Универсальный маршрут или шаблон CMS, отображающий обобщённое сообщение «страница не найдена», но фактически никогда не возвращающий статус 404/410.
• Страницы внутреннего поиска с нулевым результатом, отображаемые как обычная страница с пустым списком результатов.
• Страницы товаров, отсутствующих на складе или удалённых, оставленные активными почти без оставшегося содержимого.
• Одностраничные приложения, где начальный HTML-ответ всегда 200, а клиентский маршрутизатор решает уже потом, показывать ли состояние «не найдено» — первая волна сканирования сырого HTML Google может увидеть это как скудную, бессодержательную страницу. См. JavaScript SEO и индексация.

Как их проверить

Отчёт «Индексирование → Страницы» в Search Console перечисляет причину Мягкая ошибка 404 в разделе «Не проиндексировано» с затронутыми URL. См. как читать полный отчёт о покрытии, если вы не пользовались им раньше. Вы также можете выборочно проверить любой URL напрямую с помощью инструмента проверки URL, который показывает фактический HTTP-статус, зафиксированный Google.

Как исправить каждый случай

• Действительно удалённый контент: верните настоящий статус 404 или 410 с сервера или обработчика «страница не найдена» вашего фреймворка — не просто меняйте видимый текст.
• Законно скудные, но реальные страницы (пустое состояние поиска, временно отсутствующий на складе товар, который вы планируете пополнить): сохраните статус 200, но добавьте достаточно реального содержимого — похожие товары, отметку о пополнении, ссылки на категории, — чтобы страница воспринималась как намеренная, а не неработающая.
• Страницы, которые вы вообще не хотите индексировать, но также не хотите превращать в 404 (законное пустое состояние, на которое пользователь может законно попасть): добавьте тег noindex вместо того, чтобы оставлять всё неоднозначным для Google.