Коннектор CDC из 1С в Kafka и доставка данных в КХД
Доклад отклонён
Целевая аудитория
Тезисы
В мире обработки данных и построения аналитических хранилищ поставка самих данных в хранилище является одним из составляющих процесса формирования хранилища. И если для поставки данных есть CDC (Change Data Capture) либо возможность иным образом наладить инкрементальный процесс выгрузки данных, то процесс выгрузки данных из 1С представляется собой нетривиальную задачу. Обычно разработчик 1С реализует процесс выгрузки нужных данных непосредственно в инсталляции, и зачастую, каждая выгрузка будет уникальной, в связи с возможными отличиями конфигураций, наименований и т.п. Вторым вариантом является доступ через OData, когда процесс интеграции самостоятельно запрашивает нужные данные. Очевидно, что для этих случаев нужно знать структуру 1С, структуру конкретных конфигураций.
Мы хотим представить результат партнерской разработки компаний "Аренада" и "1С-Перспектива" - конфигурация для 1С, реализующую отслеживание изменений средствами платформы "1С:Предприятие 8", и транслирующую их в Kafka.
Почему имеющиеся решения CDC, представленные на рынке или OpenSource, не работают в платформой 1С? Как настроить выгрузку данных из "1С:Предприятие 8" только силами администратора? Как довести данные до КХД? Как получить представления, отражающие существующие данные на источнике? Ответы на эти вопросы будут получены в ходе доклада.
Всю сознательную жизнь занимается автоматизацией процессов поставки данных в различные системы. Начинал системным администратором и разработчиком .NET. Окончательно нашел себя в инженерии данных, основная область — загрузка данных в хранилище. В последнее время работает на стеке NiFi, Airflow. Считает, что загрузить можно любые данные, любой структуры и сложности. Главное — выбрать верный инструмент.
Аренадата
До 2022 года занимался внедрением систем аналитической отчетности и бюджетирования на платформе SAP, после ухода компании изучил платформу 1С и продолжаю работу с тем же направлением на новой для себя платформе.
1С-Перспектива
Видео
Другие доклады секции
Базы данных и системы хранения