Возникла необходимость улучшения системы хранения данных о товарах. Мы решили построить систему на базе Kafka, Confluent и kSQL для обработки огромного объема быстро меняющихся данных о товарах при ~9к сообщений в секунду в пиках при штатной работе и ~50к в секунду при нештатной работе.

В докладе расскажем о следующем:
* причины, по которым мы решили написать свою ETL-систему и выбрали эти технологии;
* как построить решение на основе Kafka, Confluent и kSQL для обработки большого объема меняющихся данных и создать микросервисную архитектуру на Go с помощью небольшой команды;
* проблемы, с которыми мы столкнулись при разработке и использовании данной системы;
* как мы решили эти проблемы, переписав часть системы (Sink-коннекторы) на Go.