Ускоряем обучения LLM более, чем на 45%: увеличиваем реальную утилизацию GPU при помощи оптимизации использования памяти, коммуникаций и здравого смысла
Доклад принят в программу конференции
Целевая аудитория
Тезисы
У нас получилось ускорить наши претрейны в полтора раза, а соседние сценарии Alignment/DPO в 5-10 раз! Как и за счет чего можно достичь такой скорости?
В докладе я расскажу про:
* особенности обучения на больших кластерах и узкие места в современных претрейнах;
* библиотеку YaFSDP как способ побороть неэффективности в коммуникациях;
* оптимизации памяти;
* ценность 3d-4d-параллелизма для обучения реально больших моделей;
* о том, как мы ускорили MoE.
Возможно, будут и другие секретные оптимизации. Мы ускоряем наши обучения постоянно, поэтому к моменту выступления доклад может наполниться еще одним-двумя трюками.
Руководит разработкой претрейна YandexGPT.
Яндекс
Видео
Другие доклады секции
Нейронные сети и искусственный интеллект (data science)
