Пайплайны записи своими руками: думали — велосипед, оказалось — паттерны

Архитектуры и масштабируемость

Архитектурные паттерны
Отказоустойчивость
Распределенные системы
ETL
Надёжность продакшена
Слабо связанная архитектура

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Если вы строите систему доставки данных в распределенной среде, то вам будет полезно узнать, как не наступить на множество граблей. Этот доклад — хорошая возможность взглянуть на свою систему через призму применения любимых паттернов.

Целевая аудитория

Разработчики, архитекторы и SRE.

Тезисы

Роман расскажет, как строить надежные конвейеры доставки данных до хранилищ. На примере доставки логов, метрик и трейсов вы узнаете, какие подходы и прикладные паттерны помогут написать код, готовый к отказам, как эксплуатировать и масштабировать пайплайны записи, к чему готовиться и чего не стоит бояться.

Каждый уровень и этап такого конвейера — результат многолетней эксплуатации под большой нагрузкой в Sage, платформе мониторинга и realtime-аналитики Т-Банка.

Из доклада в свою повседневную работу вы сможете забрать архитектурную диаграмму всего конвейера записи, детальную схему устройства критически важных компонентов, список полезных паттернов и примеры их применения в реальной системе.

Ведущий разработчик в Sage, платформе мониторинга Т-Банка. Специализируется на глубокой оптимизации производительности. Интересуется математикой, алгоритмами и Data Science.

Т-Банк

Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.

Видео

Другие доклады секции

Архитектуры и масштабируемость