Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
Россия +7 (495) 139-20-33
24 Ноября 2023 в 15:20

Сбер научил GigaChat писать музыку по текстовому запросу

Россия +7 (495) 139-20-33
0 2964
Подпишитесь на нас в Telegram

Сбер интегрировал в GigaChat нейросети CLaMP и SymFormer. Это позволит GigaChat генерировать музыкальные треки по произвольным текстовым запросам пользователей.

Пользователю нужно сформулировать задачу, например, «сочини веселую музыку в стиле кантри» или «напиши трек для лаундж-зоны бизнес-центра». GigaChat пришлет аудиофайл с уникальной музыкальной композицией и даже нотную партитуру в формате MIDI.

При этом создание музыки происходит в несколько этапов:

  1. Сначала модель CLaMP обрабатывает запрос пользователя и конвертирует его в понятный для генератора мелодий язык.
  2. Затем в SymFormer генерируется несколько вариантов мультидорожечного трека, из которых нейросеть выбирает наиболее удачные варианты по стилю и композиции.
  3. На последнем этапе формируется аудиофайл и передается пользователю.

Об этом рассказал Денис Филиппов, вице-президент по цифровым поверхностям «Салют» Сбербанка, в рамках международной конференции по искусственному интеллекту AI Journey 2023.

Одним из сегментов целевой аудитории сервиса мы видим представителей среднего и малого предпринимательства. Благодаря GigaChat они смогут быстро, качественно и, что важно, абсолютно легально решать задачи бизнеса: создавать фоновое музыкальное сопровождение для кафе, салонов красоты и залов ожидания, генерировать треки для рекламных видеороликов и соцсетей.

Для обучения SymFormer использовались платформа ML Space на базе суперкомпьютера Christofari и датасет из более 200 тысяч композиций разных стилей: от классики до современной электронной музыки и рока.

По ссылке собрали все новости про GigaChat.

Источник: Код Дурова

0 комментариев
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.

Отправьте отзыв!
X | Закрыть