Антон Стеблянко на GolangConf 2024

Реновация ETL. Как мы подменяли монолит, обслуживающий 6000+ потоков данных

BigData и машинное обучение

Распределенные системы

Рефакторинг

ETL

Хранилища

Обработка данных

24 июня, 10:00, «Зал 06 - Зеленый»

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Последние пару лет в IT для многих проходят под знаком «импортозамещение». Не остаются в стороне и ETL-процессы — важная деталь в деятельности любой организации. Из доклада вы узнаете про то, как эффективно и безболезненно перевести ETL крупной организации на «новые рельсы».

Целевая аудитория

Разработчики и архитекторы Корпоративных Хранилищ Данных.

Тезисы

Опыт замены Оркестратора и ELT-инструмента на высоконагруженном DWH.

Вводные на старте проекта:
* Хранилище эксплуатируют 10+ доменных команд разработки.
* Ежедневно выполняется 6000+ регламентных расчетов.
* Хранилище играет ключевую роль в процессах работы компании.
* Сохранение текущих строгих SLA подготовки данных.
* Продолжение развития хранилища в период миграции.

Расскажем, какой путь прошли во время миграции с вендорного SAS DI на OpenSource-экосистему из Airflow + dbt.

Антон Стеблянко

X5 Tech

Эксперт в построении Аналитических Хранилищ Данных.

X5 Tech

IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 358 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.