LLMops: что есть, кроме ChatGPT, и как ты можешь развернуть это
Доклад принят в программу конференции
Целевая аудитория
Слушатели, которые успели повзаимодействовать с ChatGPT. В докладе нет хардкорных ML-вещей, все термины объясняются простым языком.
Тезисы
- ML-ликбез. Про используемые в дальнейшем термины простыми словами.
- Классический MLops и его принципы.
- Почему Large Language Models действительно такие крутые.
- Эволюция генерации языка. Как мир пришел к LLM.
- Многообразие LLM: основные модели и их особенности.
- Развернуть LLM и радоваться жизни: обзор способов, лицензий и требований к железу.
- Квантизация и файн тьюнинг — убрать нельзя использовать.
- Векторные базы данных и LangChain.
- LLM всегда ли нужен?
- Заключение.
Data Scientist c опытом работы в разных областях: от анализа временных рядов и computer vision до больших дата-инженерных highload-проектов.
Также имеет солидный математический бэкграунд в области функционального анализа и операторных алгебр — научные статьи и выступления на конференциях.
На данный момент работает в компании Raft и занимается исследованиями и внедрением LLM-моделей в продакшн, о чем ей бы очень хотелось рассказать на этой конференции.
Raft
Raft специализируется на разработке приложений на основе генеративного ИИ, применяя такие технологии, как YandexGPT-2, ChatGTP и Llama-2. Занимаются созданием решений для защиты приложений на генеративном ИИ от потенциальных угроз и разрабатывают свои продукты.
Главный продукт — AudioInsights. Этот инструмент предназначен для анализа качества обслуживания в продажах и клиентской поддержке. Ежемесячно он обрабатывает сотни тысяч диалогов в таких сферах, как автобизнес, финтех и медицина.
Видео
Другие доклады секции
Нейронные сети, искусственный интеллект
