Профессиональная конференция для Go-разработчиков

Коннектор CDC из 1С в Kafka и доставка данных в КХД

Базы данных и системы хранения

PostgreSQL
Базы данных / другое
Проектирование информационных систем
ETL
Хранилища

Доклад отклонён

Целевая аудитория

Администраторы 1С, архитекторы КХД, разработчики КХД

Тезисы

В мире обработки данных и построения аналитических хранилищ поставка самих данных в хранилище является одним из составляющих процесса формирования хранилища. И если для поставки данных есть CDC (Change Data Capture) либо возможность иным образом наладить инкрементальный процесс выгрузки данных, то процесс выгрузки данных из 1С представляется собой нетривиальную задачу. Обычно разработчик 1С реализует процесс выгрузки нужных данных непосредственно в инсталляции, и зачастую, каждая выгрузка будет уникальной, в связи с возможными отличиями конфигураций, наименований и т.п. Вторым вариантом является доступ через OData, когда процесс интеграции самостоятельно запрашивает нужные данные. Очевидно, что для этих случаев нужно знать структуру 1С, структуру конкретных конфигураций.
Мы хотим представить результат партнерской разработки компаний "Аренада" и "1С-Перспектива" - конфигурация для 1С, реализующую отслеживание изменений средствами платформы "1С:Предприятие 8", и транслирующую их в Kafka.
Почему имеющиеся решения CDC, представленные на рынке или OpenSource, не работают в платформой 1С? Как настроить выгрузку данных из "1С:Предприятие 8" только силами администратора? Как довести данные до КХД? Как получить представления, отражающие существующие данные на источнике? Ответы на эти вопросы будут получены в ходе доклада.

Иван Клименко

Аренадата

Всю сознательную жизнь занимается автоматизацией процессов поставки данных в различные системы. Начинал системным администратором и разработчиком .NET. Окончательно нашел себя в инженерии данных, основная область — загрузка данных в хранилище. В последнее время работает на стеке NiFi, Airflow. Считает, что загрузить можно любые данные, любой структуры и сложности. Главное — выбрать верный инструмент.

Аренадата

Arenadata была создана выходцами из крупнейших ИТ-компаний — Pivotal и Mirantis, объединившихся с целью построить единую корпоративную платформу данных на базе Open Source. За основу мы взяли собственный многолетний опыт и лучшие практики, применяемые в Кремниевой долине и Европе, которые в значительной степени адаптировали. На сегодняшний день портфолио компании состоит из программных продуктов с открытым исходным кодом, интегрированных в единую платформу Arenadata Enterprise Data Platform (EDP). Среди клиентов Arenadata крупнейшие компании России, а в число наших партнёров входят ведущие ИТ-компании, облачные провайдеры и интеграторы.

До 2022 года занимался внедрением систем аналитической отчетности и бюджетирования на платформе SAP, после ухода компании изучил платформу 1С и продолжаю работу с тем же направлением на новой для себя платформе.

1С-Перспектива

1С-Перспектива объединяет в себе отраслевую экспертизу специалистов SAP, сформированную с участием международных и российских компаний, проверенную годами и эффективно работающую в корпоративном сегменте, а также платформу «1С», на которой этот опыт должен быть успешно реализован в контексте государственной политики импортозамещения и достижения технологического суверенитета.

Видео

Другие доклады секции

Базы данных и системы хранения