Google опубликовал руководство по управлению краулинговым бюджетом

В Справке Google появилось расширенное руководство по управлению лимитом на сканирование для владельцев крупных сайтов.

Это руководство предназначено для владельцев очень больших сайтов (более 1 млн уникальных страниц) с достаточно часто (раз в неделю) меняющимся контентом, а также средних или больших сайтов (более 10 тыс. уникальных страниц) с очень часто (ежедневно) меняющимся контентом.

Лимит на сканирование сайта зависит от двух основных факторов: скорости сканирования и потребности в сканировании.

Увеличить лимит на сканирование можно только двумя способами: выделив дополнительные ресурсы сервера для сканирования или (что гораздо важнее) повысив ценность контента, размещенного на сайте, для пользователей Google Поиска.

Рекомендации для повышения эффективности сканирования:

Закрывать от сканирования дублирующиеся URL, чтобы робот это время потратил на обнаружение более ценных страниц.
Удалить страницы с идентичным контентом.
Заблокировать сканирование URL, которые не нужно индексировать с помощью файла robots.txt или инструмента "Параметры URL".
Не использовать тег noindex. А также не использовать файл robots.txt, чтобы временно увеличить лимит на сканирование для других страниц. Лимит на сканирование не будет перераспределен в пользу других страниц, пока он не будет исчерпан.
Возвращать код ошибки 404 или 410 для окончательно удаленных страниц.
Устранить ложные ошибки 404.
Вовремя обновлять файлы Sitemap.
Избегать длинных цепочек переадресации. Они создают проблемы при сканировании.
Оптимизировать страницы для ускорения их загрузки.
Проверять, как сканируется сайт.

Более подробная информация в полной версии руководства.

Это руководство не нужно читать, если у владельца сайта нет большого количества часто обновляемых страниц или если страницы сканируются в течение суток после публикации. Достаточно вовремя обновлять файлы Sitemap и проверять отчет об индексировании.

Если на сайте есть контент, который не индексировался в течение продолжительного времени, чтобы выяснить причины, воспользуйтесь инструментом проверки URL.

Источник: Справка Search Console