Сотрудник поиска Google Джон Мюллер в Twitter попросил хостинговые компании, которые привлекают роботов на межстраничные объявления, не использовать код состояния 200 в связке с noindex.
В противном случае страницы с подобными объявлениями могут быть исключены из индекса Google и результатов поиска после сканирования ботом.
Вместо этого Мюллер рекомендует удалить noindex и использовать код состояния 5xx, который поможет роботу Googlebot просканировать межстраничные объявления.
Чтобы убедиться, что Googlebot не заходит на эти страницы, Джон Мюллер посоветовал воспользоваться рекомендациями из Центра Поиска Google.
Источник: Twitter