Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
Россия +7 (909) 261-97-71
Сегодня в 13:44

Сбер представил ИИ-модель Pollux для оценки качества ответов нейросетей

Россия +7 (909) 261-97-71
0 73
Подпишитесь на нас в MAX

Исследователи управления экспериментальных систем машинного обучения Сбербанка разработали открытую компактную ИИ-модель Pollux для оценки качества ответов нейросетей по заданным пользователем критериям. Новая модель поможет специалистам быстрее находить ошибки в ответах ИИ, а пользователям – получать более точные и безопасные ответы от нейросетей.

Сергей Марков, директор по развитию технологий искусственного интеллекта Сбербанка:

Для оценки ответов ИИ часто используют большие языковые модели, но при массовой проверке это дорого. Кроме того, критерии оценки зависят от задачи. Например, связность рассказа оценивают по развитию сюжета, а связность научной статьи – по логике аргументации. В Pollux мы разработали подробные критерии оценки и собрали большой набор данных с экспертной разметкой. И критерии, и разметка открыты для исследователей. На этих данных мы обучили компактную модель, которую можно запускать локально и использовать для оценки диалогов, RAG-систем и ИИ-агентов. В наших экспериментах ее оценки лучше согласовывались с экспертными, чем оценки моделей с числом параметров в сотни раз больше.

Открытая модель-судья содержит 4 млрд параметров и способна оценивать ответы нейросетей на русском и английском языках по критериям и шкалам, которые определяет пользователь. Кроме того, она может анализировать многоходовые диалоги, результаты работы систем с использованием внешних источников информации (RAG), а также последовательности вызовов инструментов ИИ-агентами.

Ожидается, что разработка позволит ускорить выявление ошибок в ответах нейросетей, а также повысить качество и безопасность систем искусственного интеллекта.

Код и демо Pollux доступны на GitHub.

Напомним, ранее Сбер запустил бесплатную платформу для создания ИИ-агентов без программирования – GigaPlatform AI Studio. И запустил экспериментальные ИИ-сервисы для образования – Zoobr и Narra.

Источник: ТАСС

0 комментариев
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.

Отправьте отзыв!
X | Закрыть