Google: хостинговые компании должны передавать Googlebot код 500 для межстраничных объявлений

Сотрудник поиска Google Джон Мюллер в Twitter попросил хостинговые компании, которые привлекают роботов на межстраничные объявления, не использовать код состояния 200 в связке с noindex.

В противном случае страницы с подобными объявлениями могут быть исключены из индекса Google и результатов поиска после сканирования ботом.

Вместо этого Мюллер рекомендует удалить noindex и использовать код состояния 5xx, который поможет роботу Googlebot просканировать межстраничные объявления.

Чтобы убедиться, что Googlebot не заходит на эти страницы, Джон Мюллер посоветовал воспользоваться рекомендациями из Центра Поиска Google.

Источник: Twitter