Краткая история NLP: от T9 до ChatGPT
Доклад принят в программу конференции
Целевая аудитория
Тезисы
В рамках доклада хочется осветить историческую хронологию того, как человечество пришло к текущему состоянию NLP-индустрии (появление ChatGPT и других LLM), какие челленджи, сложности и препятствия стояли перед сообществом и что нас может ждать дальше.
Обсудим следующее:
1. Состояние NLP до появления модели трансформера в 2017 году.
2. Что такое языковые модели.
3. Появление GPT-1, BERT, и как transfer learning изменил индустрию.
4. Появление GPT-2 и zero-shot.
5. Появление GPT-3, больших языковых моделей и few-shot.
6. Появление инструктивных моделей Flan-T5, Instruct-GPT, ChatGPT.
7. Их возможности, ограничения и перспективы.
AI-энтузиаст с 5+ годами в Data Science и машинном обучении. Занимается обучением больших языковых моделей в SberDevices, а именно GigaChat. В свободное время делает Open Source-проекты.
SberDevices
Более 9 лет опыта в области AI, ML. Исполнительный директор, руководитель команд ML/AI для b2c в SberAI. Участник команды разработчиков GigaChat, AI-евангелист, автор ruMTEB, FRIDA, ruSBERT, ru-en-RoSBERTa, ruElectra, augmentex, kaggle competitions master. Автор канала @dealerAI.
SberAI
Видео
Другие доклады секции
Нейронные сети, искусственный интеллект
