Рекламная система Яндекса — это более 1000 разработчиков, аналитиков и ML-инженеров, 20-летняя история и существенный вклад в выручку компании. А также миллионы RPS, сотни петабайт данных и миллионы CPU. Когда-то наша история начиналась с MySQL и cron-скриптов, затем мы открыли для себя MapReduce. Тем не менее, с ростом бизнеса становилось всё более очевидным, что обрабатывать новые рекламные материалы за многие часы — это преступно долго.

Я расскажу, как мы последовательно переводим на стриминговые процессинги самые разные компоненты этой системы: от статистики до генерации рекламных объявлений и запуска нейросетей. Поделюсь общими советами по ускорению контент-систем, построению реалтаймовых джойнов логов, а также подходами к контролю за надёжностью стриминговых процессингов. Часть рассказа посвящу выбору технологии: почему мы написали что-то своё и как с учётом накопленного опыта видим принятие такого решения в 2024 году.

В итоге мы не только улучшили пользовательский опыт, но и заработали деньги благодаря повышению качества ранжирования, а также сэкономили десятки тысяч CPU. На профите и стратегии остановимся отдельно: обсудим, в чём конкретно может выражаться польза для CPO или CEO и как с оглядкой на это выстраивать долгосрочное целеполагание.