Профессиональная конференция для Go-разработчиков

Как мы построили модерацию рекламы с нуля и достигли потока 1 млрд вердиктов в сутки

Архитектуры и масштабируемость

Проектирование архитектуры

Доклад принят в программу конференции

Целевая аудитория

Рассказ будет полезен людям, интересующимся модерацией контента или другими сервисами классификации.

Тезисы

Из-за роста объема рекламных объявлений Яндексу требуется модерировать более 1 миллиарда различных объектов в день с минимальными задержками автоматических проверок порядка единиц секунд, при этом добиться высокого качества модерации.

На входе у нас были две системы с неподходящими архитектурами для поставленных нами целей. Первая была написана на устаревших технологиях, что затрудняло развитие и масштабирование, а вторая батчевая система с нетипизированными данными и множеством составных компонентов, не укладывающаяся в требуемые тайминги. В этих условиях было также сложно поддерживать качество вердиктов на достаточном уровне.

Мы решили написать новую модерацию с нуля на основе стримингового фреймворка поверх YTsaurus. В результате мы полностью переехали на новую систему, по пути наткнувшись на множество проблем, которые не были видны со старта. В докладе будет рассказано, с какими проблемами нам пришлось столкнуться и как мы их решили.

Разработчик в команде модерации рекламы.

Яндекс

Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.

Видео

Другие доклады секции

Архитектуры и масштабируемость

Алиса 6 лет спустя
Павел Капля

Алиса и Умные устройства Яндекса