Никита Ильин на GolangConf 2024

ClickHouse не тормозит в Self-Service BI: как мы достигли этого в Visiology

Базы данных и системы хранения

Архитектура данных, потоки данных, версионирование

ETL

ClickHouse

Хранилища

Обработка данных

24 июня, 13:50, «Зал 07 - Оранжевый»

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Хайлоад — это не всегда миллионы запросов. Порой аналитик и один запрос может написать такой, что его обработка сожрёт все ресурсы. А если систему нужно сделать такой, чтобы эти запросы могли писать даже непрофессиональные аналитики, а обычные сотрудники? Об этом — в докладе Никиты.

Целевая аудитория

Аналитики данных и BI-специалисты, разработчики и архитекторы BI-систем, разработчики ETL-решений, специалисты в области хранилищ данных, CDO.

Тезисы

Мы расскажем, как интегрировали ClickHouse в ядро нашей BI-платформы Visiology для использования в кейсах Self-Service-аналитики и ad-hoc-запросов, где пользователи могут самостоятельно загружать и анализировать большие объемы данных, не привлекая разработчиков. Такой сценарий работы пользователей потребовал от нас разработки автоматизированной системы управления ClickHouse.

Будут рассмотрены:
* архитектура платформы и архитектурные решения;
* процесс загрузки данных в ClickHouse: автоматизация подбора индексов и движков, преобразование исходных данных для эффективной обработки ad-hoc-запросов;
* разработка транспайлера запросов аналитического движка DAX (Microsoft) в ClickHouse SQL;
* алгоритмы оптимизации SQL с учетом специфики ClickHouse.

Никита Ильин

Visiology

Главный архитектор Visiology. Занимается архитектурой и разработкой BI-решений 10 лет, помогает внедрять BI.

Visiology

Компания Visiology — российский вендор ПО для анализа и визуализации данных. Основной продукт — одноимённая BI-платформа, позволяющая бизнесу и государству принимать оперативные и обоснованные управленческие решения на основе данных. BI-платформа Visiology — полностью российская разработка, совместимая с другими отечественными программными продуктами. На базе платформы разрабатываются аналитические решения для различных сфер государственного управления, крупных корпораций и промышленных отраслей.