Профессиональная конференция для Go-разработчиков

Как с помощью event sourcing мы организовали поставку данных и актуализацию структуры для более 2000 таблиц

Архитектуры и масштабируемость

Системы хранения

Java
Микросервисы, SOA
Архитектура данных, потоки данных, версионирование
Хранилища
Обработка данных

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Тинькофф решил перейти с CGC на event-sourcing с иерархическими структурами данных и Greenplum в качестве хранилища. Это потребовало оригинальных технических решений по управлению изменениями DDL чтобы целостность данных не рассыпалась при поставке данных от сотен команд.

Целевая аудитория

Разработчики, архитекторы, DE, ETL.

Тезисы

Перед нами была поставлена задача доставки структурированных данных до хранилища, сохраняя при этом возможность изменять структуру таблиц. Одни из главных вопросов, которые перед нами стояли:
* Как управлять изменениями схемы? В какой момент применять обновления?
* Как переложить ответственность за создание описания схемы на пользователей, обеспечив при этом не только контроль и валидацию изменений, но и поддержку?
* Как гарантировать корректность обновления схемы как с технической, так и с бизнесовой точек зрения?
* Как обеспечить консистентность данных в связанных структурах для дальнейшей работы с ними?

Рассмотрев несколько подходов к решению поставленной задачи, мы пришли к решению, которое реализовали с использованием паттерна event sourcing. Данное решение позволило нам чуть больше, чем за год вырасти в объемах поставки с нескольких десятков таблиц до более двух тысяч.

В этом докладе я бы хотел рассказать о том, почему мы отдали предпочтение event sourcing вместо CDC, какие альтернативы для описания схем рассматривали, почему в итоге остановились на avro и как автоматика помогает нам контролировать все изменения.

Никита Рьянов

Тинькофф

Ведущий разработчик на проекте SDP.

Тинькофф

Команда Тинькофф — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются более 38 миллионов клиентов. Тинькофф развивает IT-индустрию, поддерживает комьюнити и делится экспертизой.

Видео

Другие доклады секции

Архитектуры и масштабируемость

Алиса 6 лет спустя
Павел Капля

Алиса и Умные устройства Яндекса