Особенности и вызовы реализации технологии создания готовых музыкальных произведений с применением ИИ

Нейронные сети, искусственный интеллект

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Генеративный AI достиг больших успехов в создании текстов и изображений, а вот с аудио дела обстоят не так радужно. Доклад затронет методы генерации музыки и то, как нейросети учатся выполнять работу композиторов, аранжировщиков и вокалистов.

Целевая аудитория

ML-инженеры, профессионалы музыкальной индустрии и просто любители музыки.

Тезисы

В рамках доклада мы хотим осветить технологические аспекты реализации пайплайна создания музыкальных произведений от идеи до продакшна с помощью искусственного интеллекта. В докладе мы расскажем, с какими вызовами столкнулись, какие пути их решения нашли, и что у нас получилось.

Мы рассмотрим:
1. Основные этапы процесса создания музыкального хита.
2. Наши подходы к созданию полноценных музыкальных треков (музыкальная композиция, вокал, аранжировка).
3. Нейросетевая композиция — сложности и вызовы.
4. Особенности реализации синтеза пения по произвольному тексту.
5. Автоматизированный саунд-дизайн и рендеринг в реальном времени.
6. Результаты и примеры использования.

Senior Data Scientist.

SberDevices

Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Они работают над созданием удобных онлайн-сервисов в самых разных сферах.

Senior Data Scientist в области речевых технологий.

SberDevices

Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Они работают над созданием удобных онлайн-сервисов в самых разных сферах.

Видео