Профессиональная конференция для Go-разработчиков

Как мы запускали YandexGPT

Нейронные сети, искусственный интеллект

Нейронные сети / Языковые модели

Теории и техники анализа
Machine Learning
Управление разработкой
Обработка данных

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Из этого доклада вы узнаете, как заставить большую языковую модель реально РАБОТАТЬ и ПРИНОСИТЬ ПОЛЬЗУ, а не только писать что-то прикольное.

Целевая аудитория

ML-специалисты, ML-энтузиасты, архитекторы.

Тезисы

• Какие этапы проходила модель от pretrain-а до релиза в продукт, и с какими сложностями мы столкнулись
• Как мы починили баг в фреймворке распределенных коммуникаций NCCL и ускорили pretrain на 30% для всех
• Как уложиться на инференсе в имеющиеся вычислительные ресурсы, ускорив модель в N раз без значительных потерь в качестве

Роман Горб

Яндекс Поиск

Старший ML-разработчик, Яндекс
Пришел в Яндекс в команду YandexGPT в 2021 году. Занимается ускорением инференса больших языковых моделей.
Внедрял эффективные методы дообучения LLM в Яндексе, когда это еще не было мэйнстримом.
Выпускник Московского физико-технического института.

Яндекс Поиск

Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.

Видео

Другие доклады секции

Нейронные сети, искусственный интеллект