Профессиональная конференция для Go-разработчиков

Как устроена Алиса нового поколения

Архитектура

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Заходите, если хотите узнать, как изменилась Алиса с появлением LLM, с какими трудностями мы столкнулись и как мы их преодолели

Тезисы

В апреле мы запустили новую Алису, в которую внедрили большие языковые модели. В своем докладе я расскажу, что потребовалось изменить в нашем ассистенте, чтобы заставить Алису думать по-новому.

Я расскажу, как мы это сделали и как решили следующие проблемы:
- Скорость ответа, как начать отвечать пользователю не за десять секунд, а быстрее
- Цена запроса, как не тратить тысячи GPU
- Стабильность, как не сломать то, что хорошо работает сейчас

Посмотрим, что получилось в итоге, что можно улучшить и почему мы все еще это не сделали

Руслан Ахтариев

ООО Яндекс.Технологии

Руководитель группы рантайма диалогового движка

ООО Яндекс.Технологии

Яндекс

Видео

Другие доклады секции

Архитектура