Теги:
Яндекс выложил в открытый доступ свою библиотеку YaFSDP. Она до 25% ускоряет обучение больших языковых моделей с открытым исходным кодом. Библиотеку YaFSDP могут использовать разработчики, компании и исследователи по всему миру.
YaFSDP рассчитана на большие языковые модели, но подходит и для других нейросетей. Например, ее можно использовать, чтобы ускорить обучение нейросетей, предназначенных для генерации изображений. Библиотека поможет сократить расходы на оборудование для обучения моделей, уменьшить расходы ресурсов графических процессоров.
Одна из сложностей в обучении больших языковых моделей – это недостаточная загрузка каналов коммуникации между графическими процессорами. YaFSDP это решает. Библиотека оптимизирует использование ресурсов GPU на всех этапах обучения: pre-training (предварительное), supervised fine-tuning (с учителем), alignment (выравнивание модели). Благодаря этому YaFSDP задействует ровно столько графической памяти, сколько нужно для обучения, при этом коммуникацию между GPU ничто не замедляет, – говорится в сообщении Яндекса.
Яндекс протестировал библиотеку на сторонних нейросетях с открытым исходным кодом. YaFSDP дает ускорение до 25% в зависимости от архитектуры и параметров нейросети.
Исходный код YaFSDP уже есть на GitHub.
Напомним, ранее Яндекс представил новую версию машинного перевода, обученную с помощью YandexGPT.
Источник: пресс-релиз Яндекса