Оказывается, можно ускорить индексацию и обработку нового файла robots.txt, просто нажав пару кнопок в специальном инструменте в Google Search Console. Об этом на форуме Google Webmaster Help рассказал Джон Мюллер:
Чтобы ускорить индексацию своего файла robots.txt (обычно мы индексируем их примерно раз в день, в зависимости от типа сайта), вы можете воспользоваться инструментом проверки файла robots.txt в Search Console. В нем вы обнаружите уже проиндексированную версию и сможете отправить в Google новый файл для сканирования.
Больше информации о работе с этим инструментом вы найдете здесь.
Источник: Search Engine Roundtable