Мнение Программного комитета о докладе
Из этого доклада вы узнаете, как заставить большую языковую модель реально РАБОТАТЬ и ПРИНОСИТЬ ПОЛЬЗУ, а не только писать что-то прикольное.
Как мы запускали YandexGPT
Доклад принят в программу конференции
Целевая аудитория
ML-специалисты, ML-энтузиасты, архитекторы.
Тезисы
• Какие этапы проходила модель от pretrain-а до релиза в продукт, и с какими сложностями мы столкнулись
• Как мы починили баг в фреймворке распределенных коммуникаций NCCL и ускорили pretrain на 30% для всех
• Как уложиться на инференсе в имеющиеся вычислительные ресурсы, ускорив модель в N раз без значительных потерь в качестве
Старший ML-разработчик, Яндекс
Пришел в Яндекс в команду YandexGPT в 2021 году. Занимается ускорением инференса больших языковых моделей.
Внедрял эффективные методы дообучения LLM в Яндексе, когда это еще не было мэйнстримом.
Выпускник Московского физико-технического института.
Яндекс Поиск
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Видео
Другие доклады секции
Нейронные сети, искусственный интеллект
