Представители команды Google Search Relations Гэри Илш и Черри Проммавин разобрали работу robots.txt во втором выпуске регулярного тематического шоу от Google Search The Non-Canonical Cabinet. Они объяснили, какие записи распознает Google, как задавать правила для ИИ-краулеров и почему инструкции, понятные человеку, не всегда работают для робота.
По их словам, Google читает robots.txt построчно и поддерживает четыре поля: `User-agent`, `Allow`, `Disallow` и `Sitemap`. Первое указывает адресата правил, следующие два задают разрешенные и запрещенные для обхода пути, а последнее содержит адрес карты сайта. Некорректные строки и неподдерживаемые поля, включая `Crawl-delay`, система игнорирует, продолжая обрабатывать остальные записи. Поэтому просьба не посещать страницу, написанная обычным текстом, не заменяет команду установленного формата.
Для ограничения обхода конкретным ИИ-роботом в поле `User-agent` указывают его идентификатор из документации оператора, а в `Disallow` задают запрещенные пути. Речь идет об идентификаторе для robots.txt, а не о полной строке HTTP-заголовка User-Agent.
Стандарт RFC 9309 допускает в идентификаторе робота латинские буквы, дефис и знак подчеркивания, но не кириллицу или эмодзи. Символ `*` используется отдельно как обозначение роботов, для которых нет подходящей группы с конкретным идентификатором.
Для путей к страницам действуют другие правила: Google распознает кириллицу, другие нелатинские символы и эмодзи в UTF-8. При сопоставлении правил с URL система автоматически приводит такие символы к процентно-кодированному представлению, поэтому исходная и закодированная записи обрабатываются одинаково.
Для совместимости с другими краулерами представители Google рекомендуют сразу использовать процентное кодирование в путях с такими символами. То, что Googlebot правильно обрабатывает запись, не подтверждает аналогичную поддержку у другого робота.
Стандарт RFC 9309 определяет правила обхода страниц, но не дальнейшего использования полученного содержимого. Самостоятельно придуманная команда с запретом обучения нейросетей не добавляет протоколу новую функцию, а запрет обхода не устанавливает правила обращения с уже собранными данными.
При этом операторы ИИ-сервисов описывают собственные механизмы управления использованием контента. Например, Google применяет токен `Google-Extended` для регулирования использования материалов в обучении будущих поколений Gemini и подготовке ответов с опорой на источники в отдельных продуктах. У этого токена нет отдельной строки HTTP User-Agent, а правила для него не влияют на присутствие сайта в Google Поиске и ранжирование.
Robots.txt также не защищает конфиденциальные материалы от посторонних: файл содержит инструкции для роботов, соблюдающих протокол, а не технический барьер доступа. Закрытые разделы защищают паролем и проверкой прав доступа на сервере.
Ранее стало известно, что Google уточнил рекомендации по использованию дефисов в URL.
Источники: Search Engine Roundtable.