Теги:
Сотрудник Google Джон Мюллер дал совет, как заблокировать файлы robots.txt и sitemap, чтобы не допустить их индексации.
Совет Мюллера был вызван твитом другого специалиста из Google Гэри Илша, который заметил, что файл robots.txt может быть проиндексирован поисковиком, как и любой другой URL. Хотя в robots.txt содержатся специальные указания для сканирования, нет ничего, что могло бы помешать Google его проиндексировать.
...robots.txt с точки зрения индексации — это просто URL, содержание которого может быть проиндексировано. Он может быть канонический или дедуплицированный, как и любой другой URL. Он имеет особое значение для сканирования, но его индексный статус вообще не важен.
Triggered by an internal question: robots.txt from indexing point of view is just a url whose content can be indexed. It can become canonical or it can be deduped, just like any other URL.
— Gary "鯨理／경리" Illyes (@methode) November 6, 2019
It only has special meaning for crawling, but there its index status doesn't matter at all. pic.twitter.com/bBMXy1XcRF
В ответ своему коллеге Джон Мюллер написал, что HTTP-заголовок X-Robots-Tag может использоваться для того, чтобы заблокировать индексацию файлов robots.txt и sitemap. Также он заметил:
«Если ваши файлы robots.txt или sitemap ранжируются по обычным запросам (не сайт), это является, как правило, признаком того, что у вас действительно очень плохой сайт и его нужно срочно улучшить».
Так что если специалисты столкнулись с проблемой, когда их файл robots.txt ранжируется в результатах поиска, блокировка с помощью HTTP-заголовка X-Robots-Tag может стать хорошим краткосрочным решением. При этом следует сразу же начать решать более серьезные проблемы с сайтом, которые могут негативно сказаться в долгосрочной перспективе, рекомендует Мюллер.
Напомним, ранее сотрудник Google Мартин Сплитт сообщил, что поисковик не использует поведенческие метрики для ранжирования, в частности, dwelling time и время пребывания на странице.
Источник: Search Engine Journal