Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
Россия +7 (495) 139-20-33
22 Февраля 2024 в 15:14

Дзен запретил краулеру OpenAI собирать данные со своей платформы

Россия +7 (495) 139-20-33
0 6711
Подпишитесь на нас в Telegram

Контентная платформа Дзен (принадлежит компании VK) запретила роботу GPTBot от OpenAI обходить страницы сайта dzen.ru для сбора данных.

Соответствующая директива замечена «Ъ» в файле robots.txt. В пресс-службе VK объяснили, что заблокировали GPTBot для снижения нагрузки на серверы Дзена.

Компания VK так прокомментировала свое решение:

Рекомендательная система Дзена – одна из самых больших в стране. Высоконагруженные сервисы работают беспрерывно и обрабатывают более 150 тысяч запросов в секунду. Решение не включать GPTBot от OpenAI в файл принято для грамотного использования технического ресурса, чтобы не создавать дополнительную нагрузку. В Дзене регулярно создаются миллионы новых публикаций: как в текстах, так и в видеоформате, – мы направляем ресурсы на то, чтобы обеспечить качественный опыт нашим пользователям и авторам.

Отметим, что файл robots.txt носит рекомендательный характер для краулеров и технически ничто не запрещает роботам игнорировать прописанные в нем директивы.

GPTBot используется для сбора информации, которая впоследствии используется для создания нейросетевых продуктов OpenAI. Компания не предоставляет доступ к ним в России и заблокировала доступ к сайту для пользователей из РФ.

Напомним, раннее Яндекс предложил владельцам сайта специальную директиву для YandexGPT, чтобы запретить нейросети использовать информацию ресурса для генерации быстрых ответов. О том, как SEO-сообщество отнеслось к этому, читайте в нашей статье.

Источник: Коммерсантъ

0 комментариев
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.

Отправьте отзыв!
X | Закрыть