Профессиональная конференция для Go-разработчиков

Внедрение GigaChat LLM в виртуального ассистента: техническая реализация

Нейронные сети, искусственный интеллект

Нейронные сети / Языковые модели

Доклад принят в программу конференции

Целевая аудитория

Разработчики, инженеры, техпродакты и CTO. Будет понятно широкому кругу слушателей.

Тезисы

В докладе расскажем о внедрении LLM GigaChat в виртуального ассистента Сбера.

Обсудим следующие вопросы:
* цель. Зачем LLM в виртуальном ассистенте;
* использование внешних навыков;
* процесс обработки запроса;
* структура промпта;
* эксперименты и результаты.

Занимается разработкой и внедрением больших языковых моделей с 2020 года.

SberDevices

SberDevices — IT-компания полного цикла в экосистеме Сбера, R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства — от лампочек до телевизоров. В портфолио SberDevices — ruGPT-3, ruDall-E, RuSBERT и другие масштабные ML-проекты, высоконагруженные системы и технологии обработки Big Data.

Закончил МФТИ ФОПФ.
Работал 6 лет разработчиком C++ в компаниях 3DLiga, Mentor Graphics и Megaputer. Занимался в числе прочего построением производительных алгоритмов для высоконагруженной системы обработки текстовой информации PolyAnalyst™️, тогда же начал заниматься NLP. Автор мобильных приложений: «Победи ЕГЭ 2015», «Цвета и фигуры для малышей», «Gimme Collage».

В компании Iponweb (AdTech) разрабатывал модели предсказания CTR, CVR. Работал с большими данными на кластерах Spark, Hadoop.

В Сбере создал с нуля центр компетенции по обработке документов в банке (NLP) — команду из 6 DS’ов. Автор DL-фреймворка для обработки документов — AutoNER. Сейчас фреймворком пользуются больше 10 DS-команд в Сбере и экосистеме банка.

С начала 2022 года работает в должности Lead Data Scientist в команде SmartNLP Sber. Devices. Команда SmartNLP разрабатывает «мозг» виртуального ассистента Салют. Значительно улучшил качество основной модели NER Салюта. Отвечает за ML-часть GigaSearch (RAG на GigaChat).

SberDevices

SberDevices — IT-компания полного цикла в экосистеме Сбера, R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства — от лампочек до телевизоров. В портфолио SberDevices — ruGPT-3, ruDall-E, RuSBERT и другие масштабные ML-проекты, высоконагруженные системы и технологии обработки Big Data.

Видео

Другие доклады секции

Нейронные сети, искусственный интеллект