Как устроена Алиса нового поколения
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Заходите, если хотите узнать, как изменилась Алиса с появлением LLM, с какими трудностями мы столкнулись и как мы их преодолели
Тезисы
В апреле мы запустили новую Алису, в которую внедрили большие языковые модели. В своем докладе я расскажу, что потребовалось изменить в нашем ассистенте, чтобы заставить Алису думать по-новому.
Я расскажу, как мы это сделали и как решили следующие проблемы:
- Скорость ответа, как начать отвечать пользователю не за десять секунд, а быстрее
- Цена запроса, как не тратить тысячи GPU
- Стабильность, как не сломать то, что хорошо работает сейчас
Посмотрим, что получилось в итоге, что можно улучшить и почему мы все еще это не сделали
Руководитель группы рантайма диалогового движка
ООО Яндекс.Технологии
Яндекс
Видео
Другие доклады секции
Архитектура
