Профессиональная конференция для Go-разработчиков

ETL на Kafka + Confluent, проблемы и их решение с помощью Go

Golang Conf: Architecture

Go: Architecture

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Доклад про множество итераций, тонкую интеграцию с Kafka-инфраструктурой, боль от работы с legacy-системой на Oracle, боль от использования нативных решений экосистемы Confluent, и как их максимально дёшево заместить на собственные решения на Go, соблюдая жёсткий SLA, и почему kSQL — плохой выбор.

Целевая аудитория

Техлиды, архитекторы и прочие люди, занимающиеся проектированием сложных информационных систем.

Тезисы

Возникла необходимость улучшения системы хранения данных о товарах. Мы решили построить систему на базе Kafka, Confluent и kSQL для обработки огромного объема быстро меняющихся данных о товарах при ~9к сообщений в секунду в пиках при штатной работе и ~50к в секунду при нештатной работе.

В докладе расскажем о следующем:
* причины, по которым мы решили написать свою ETL-систему и выбрали эти технологии;
* как построить решение на основе Kafka, Confluent и kSQL для обработки большого объема меняющихся данных и создать микросервисную архитектуру на Go с помощью небольшой команды;
* проблемы, с которыми мы столкнулись при разработке и использовании данной системы;
* как мы решили эти проблемы, переписав часть системы (Sink-коннекторы) на Go.

Тимлид бэкенд разработки в Островке.

Ostrovok.ru

В Ostrovok.ru мы уже 13 лет создаём технологичные и гибкие IT-продукты, которые помогают миллионам пользователей легко бронировать отели, авиабилеты и другие тревел-услуги и наслаждаться комфортными путешествиями. В технической команде более 350 сотрудников, и мы постоянно растём.

Go-разработчик в компании Вайлдберриз, автор в Яндекс.Лицее.

Wildberries

Один из крупнейших в РФ онлайн-сервисов по заказу лекарств.

Видео