1 сентября 2019 года Google упразднит элементы кода, используемые в robots.txt, но не соответствующие правилам. В список попадают директивы noindex, nofollow и crawl-delay – вебмастерам, которые прописывали их в robots.txt, придется воспользоваться альтернативными вариантами.
В качестве альтернативы noindex Google, например, предлагает использовать:
Подробнее о том, как удалять контент из индекса Google и почему robots.txt не подходит для этих целей, можно узнать из Справки Google.
Специалист по качеству поиска Google Джон Мюллер сказал (с присущим ему юмором), что перед упразднением Google, возможно, разошлет письма тем вебмастерам, которые до сих пор используют директивы в robots.txt.
That sounds like a good idea. Are you reading our email?
— John (@JohnMu) 2 июля 2019 г.
/turns around slowly to scan the room
Звучит неплохо. Вы читаете наши письма?
/медленно поворачивается, сканируя комнату
Эти меры будут приняты в рамках инициативы по превращению Robots Exclusion Protocol (REP) в официальный стандарт. В Google утверждают, что использование noindex в robots.txt не задокументировано и иногда этот способ приводит к возникновению ошибок и неверному отображению сайта в поисковой системе.
Ранее представитель Google Джон Мюллер уже говорил о желании компании полностью отказаться от поддержки noindex в robots.txt.
Источник: Блог Google