Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
Россия +7 (495) 139-20-33
20 Февраля 2023 в 11:08

Google не рекомендует уменьшать частоту сканирования сайта 4хх статус-кодом

Россия +7 (495) 139-20-33
0 13017
Подпишитесь на нас в Telegram

Google не рекомендует использовать код статуса 404 и другие 4хх для уменьшения частоты сканирования сайта роботом Google.

В последние несколько месяцев мы наблюдаем всплеск среди владельцев сайтов, которые пытаются использовать код 404 и другие 4xx для снижения частоты сканирования сайта роботом Google. Пожалуйста, не делайте так. Лучше прочтите нашу документацию по этому вопросу и следуйте рекомендациям.

Роботы Googlebot игнорируют любой контент, получаемый с URL, которые возвращают код статуса 4xx, и не индексируют такие URL. В итоге страницы с таким статус-кодом могут быть исключены из поиска Google. А если еще и файл robots.txt отдается с такой ошибкой, для Google он вообще будто не существует, и робот проиндексирует все подряд. Единственное исключение – 429 статус-код, который означает «слишком много запросов». Именно он покажет роботу, что сервер перегружен, и надо замедлиться.

Чтобы ограничить частоту сканирования сайта роботом Google, рекомендуется:

  • Настроить частоту сканирования сайта в Google Search Console,
  • Если нужно срочно снизить частоту сканирования на небольшой период времени (например, на несколько часов или дней), можно показывать вместо контента информационную страницу с кодом статуса HTTP 500, 503 или 429. Но Google не рекомендует использовать этот вариант дольше двух дней, так как URL, на котором робот Googlebot будет обнаруживать эти коды статуса в течение нескольких дней, может быть исключен из индекса Google.

Напомним, Google обновил документацию для вебмастеров по ссылкам: в раздел добавилась информация о правильном использовании анкорного текста, а также о внутренних и внешних ссылках.

Источник: Google Search Central

0 комментариев
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.

Отправьте отзыв!
X | Закрыть