В рамках доклада мы расскажем о переходе к новому поисковому движку, который разработан для решения проблем старой системы. Старая архитектура, существовавшая более 20 лет, не справлялась с современными требованиями: сложное внедрение машинного обучения, медленная скорость ответа и нерелевантные результаты поиска. Мы перешли с самописных и устаревших технологий типа форкнутого Sphinx 2 на Manticore, внедрили сервис дистрибьюции ML-моделей, это позволило нам удобнее и быстрее разрабатывать новые продуктовые фичи, а также быстро внедрять и тестировать ML-модели.

Мы обсудим ключевые технологии, которые были внедрены для достижения этих целей, включая репликацию в реальном времени, асинхронные сервисы и переход к микросервисной архитектуре. Также внимание будет уделено использованию высокопроизводительных ML библиотек, таких как CatBoost, и инструментов для управления ML-процессами в связке Clickhouse + Spark. Еще мы рассмотрим наши подходы к обеспечению масштабируемости и надежности системы, включая использование ZeroMQ и практики "грейсфулл шатдаун".