Контентная платформа Дзен (принадлежит компании VK) запретила роботу GPTBot от OpenAI обходить страницы сайта dzen.ru для сбора данных.
Соответствующая директива замечена «Ъ» в файле robots.txt. В пресс-службе VK объяснили, что заблокировали GPTBot для снижения нагрузки на серверы Дзена.
Компания VK так прокомментировала свое решение:
Рекомендательная система Дзена – одна из самых больших в стране. Высоконагруженные сервисы работают беспрерывно и обрабатывают более 150 тысяч запросов в секунду. Решение не включать GPTBot от OpenAI в файл принято для грамотного использования технического ресурса, чтобы не создавать дополнительную нагрузку. В Дзене регулярно создаются миллионы новых публикаций: как в текстах, так и в видеоформате, – мы направляем ресурсы на то, чтобы обеспечить качественный опыт нашим пользователям и авторам.
Отметим, что файл robots.txt носит рекомендательный характер для краулеров и технически ничто не запрещает роботам игнорировать прописанные в нем директивы.
GPTBot используется для сбора информации, которая впоследствии используется для создания нейросетевых продуктов OpenAI. Компания не предоставляет доступ к ним в России и заблокировала доступ к сайту для пользователей из РФ.
Напомним, раннее Яндекс предложил владельцам сайта специальную директиву для YandexGPT, чтобы запретить нейросети использовать информацию ресурса для генерации быстрых ответов. О том, как SEO-сообщество отнеслось к этому, читайте в нашей статье.
Источник: Коммерсантъ