Антиспам почты mail.ru ежедневно в режиме реального времени проверяет более 400 млн. писем в сутки. Ключевой целью нашей команды является качественная и быстрая защита пользователя от нежелательного контента в формате 24/7. Но как этого можно достичь, когда железная инфраструктура может выйти из строя, деплой сервиса может затянуться из-за очереди на выкатку, а резко пришедшая нагрузка может существенно сказаться на скорости проверки писем? Ответ для себя мы нашли во внедрении kubernetes . Сейчас антиспам в kubernetes это более 2000 подов и порядка 10000 ядер. Но так было не всегда....
В рамках своего доклада я хочу провести вас по тернистому пути, который преодолела наша команда при миграции ключевых систем Антиспама в k8s.
В ходе выступления я коснусь следующих тем:
* Более детально расскажу, как мы решили заезжать в k8s
* Как решали вопрос балансировки нагрузки
* Какую трансформацию пришлось пройти нашему монолиту, чтобы стать stateless
* Как мы учились проводить A/B-тесты для ML моделей и спам-сигнатур в условиях k8s
* Про то как незаметно для пользователя переключали нагрузку
* Как мы проверяем отказоустойчивость системы
* Проведу небольшую ретроспективу процесса миграции