Знакомство с КафкаКоннектор версии 1.0

Новый взгляд на организацию обмена данными 1С с использованием Apache Kafka

Знакомство с КафкаКоннектор версии 1.0
"Мы строили, строили и наконец построили. Ура!" (с)

Этап R&D закончился и мы готовы представить нашу новую подсистему - КафкаКоннектор. Эта подсистема 1С предназначена для быстрой организации обмена между 1С + 1С / ЧтоТо, используя распределенный брокер сообщений Apache Kafka. Взаимодействие с брокером сообщений организовано с помощью внешней нативной компоненты "Apache Kafka для платформы 1С".

При создании подсистемы мы хотели решить важную задачу - снизить затраты на настройку интеграции у наших пользователей. Теперь в самых простых случаях достаточно мышкой настроить поток данных для обмена между информационными системами.

Пример настройки подключения к кластеру Kafka:

Пример настройки синхронизации объекта и его "схема":

Почему за основу транспорта сообщений выбран именно Apache Kafka?

  • возможность хранения сообщений после их получения;
  • тонкая настройка под каждый поток данных;
  • масштабирование из "коробки";
  • высокая пропускная способность.

Сейчас в подсистеме есть:

  • регистрация объектов для обмена (справочники, документы, записи регистров);
  • построение схем данных по выбранным объектам обмена;
  • автоматический обмен и обновление схем данных;
  • настройка регламентных заданий отправки/получения;
  • ведение журнала отправленных/полученных сообщений.

В планах на следующие релизы:

  • поддержка Avro формата;
  • кастомное создание topic прямо из 1С;
  • поставка подсистемы в виде расширения (регламентные задания тоже будут работать 😉 );
  • интеграции из "коробки":
  • версионирование  истории изменения объектов;
  • логирование.
  • мониторинг через Zabbix / Prometheus.

По всем вопросам пишите нам на b2b@silverbulleters.org или в Intercom.

P.S. А сколько вы тратите времени на внедрение обмена данными? 🧐