Как грузить в мониторинг 8 гигабайт метрик в секунду и ничего не проливать
Доклад отклонён
Целевая аудитория
Тезисы
Yandex Monitoring используется всеми сервисами Яндекса внутри, а также доступен в Яндекс.Облако для внешних пользователей. Мы обрабатываем 700 миллионов метрик на запись ежесекундно.
У каждого клиента есть конфигурация процесса загрузки метрик. Эта конфигурация объединяется в шард.
Балансировщик распределяет шарды в кластере, чтобы утилизировать ресурсы. Но есть очень большие шарды, которые мы не успевали обрабатывать, и теряли данные. Просто создать больше шардов нельзя, потому что это значит ручную работу для пользователей. К тому же есть уже существующие шарды. Поэтому мы сделали партиционирование для шардов.
В докладе:
* Шардирование и балансировка нагрузки;
* Партиционирование метаданных;
* Партиционирование потока записи;
* Выбор ключа партиционирования и подводные камни;
* Подходы к автопартиционированию в БД и не только;
* Как делаем автопартиционирование мы, что пробовали;
Старший разработчик Yandex Monitoring. Программирует 18 лет.
Ранее:
* разрабатывал распределенные системы прогнозирования заказов в ритейле до того, как машинное обучение стало популярным;
* внедрял автоматизацию и бизнес-процессы в банковской деятельности;
* делал продукты в сфере аукционов рекламы в реальном времени и автоматизированной закупки рекламы.
Yandex Infrastructure
Видео
Другие доклады секции
Архитектуры и масштабируемость
