Как мы научились обрабатывать потоково все офферы интернета
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Тезисы
Общий план:
- Что такое товарный поиск
- Базовая архитектура
- Как увеличение нагрузки потребовало изменения архитектуры. Как мы пришли к быстрым пайплайнам, selection rank, потоковй обработки и т.д.
- Текущая архитектура
- Как менять архитектуру налету без остановки разработки
Дополнительно обсудим следующие темы:
- Сложность процесса выбора офферов. Как мы развивали процесс от DSSM модели до catboost с похостовыми факторами
- Как мы работали с b2b-партнерами, пытаясь налить на них больше трафика
- Наши источники: фиды, дикий парсинг, API; плюсы и минусы
- Технические проблемы и решения в потоковой обработке
- Куда мы идем дальше. Индексация в реальном времени
Начинал в антивирусной компании Dr.Web где дорос до руководителя разработки unix и mac приложений. После этого работаю в Яндексе где руководил разработкой Яндекс.Недвижимости, создавал Быстрые о Объектные Ответы в Поиске и сейчас руковожу разработкой товарной базы в Поиске.
Интересуюсь как бэкэнд, так и ML разработкой.
Яндекс
Видео
Другие доклады секции
Архитектура
