Зачем Google выводит в SERP 404 страницы?

В очередном видеоподакасте Мэтт Каттс постарался ответить на вопрос пользователя «Почему Google так долго не удаляет из выдачи страницы с 404 ошибкой?».

Начнем с того, что ошибка 404 - Not Found (Не найдено) используется, чтобы показать поисковику, что страница была перемещена лишь временно и в будущем может вернуться на данный URL. Если же вебмастер хочет указать, что страница была удалена полностью и обратно на данный URL уже не вернется, следует использовать статус-код 410 - Gone (Больше не существует). Однако такое делается редко, и сам Google практически не делает разницы между данными кодами.

Причина, почему Google не удаляет страницу с 404 ошибкой из выдачи незамедлительно, также может быть связана тем, что иногда вебмастер использует статус-код 404 вместо статус-кода 503 - Service Unavailable (Сервис недоступен). Поэтому перед тем, как убрать страницу из индекса, Google приходится возвращаться и проверять, не вернулась ли страница на прежнее место.