Google рассказал, как ускорить индексацию robots.txt

Оказывается, можно ускорить индексацию и обработку нового файла robots.txt, просто нажав пару кнопок в специальном инструменте в Google Search Console. Об этом на форуме Google Webmaster Help рассказал Джон Мюллер:

Чтобы ускорить индексацию своего файла robots.txt (обычно мы индексируем их примерно раз в день, в зависимости от типа сайта), вы можете воспользоваться инструментом проверки файла robots.txt в Search Console. В нем вы обнаружите уже проиндексированную версию и сможете отправить в Google новый файл для сканирования.

Больше информации о работе с этим инструментом вы найдете здесь. 

Источник: Search Engine Roundtable