Загрузка JSON из MS SQL Server в ClickHouse через Debezium и Kafka

Разбираемся, как импортировать сложный JSON, который Debezium сохраняет в Managed Kafka, в ClickHouse.
Строим витрину для аналитической отчетности в Yandex.Cloud, с использованием Change Data Capture

[@user-tw8wv7tm2y]

Здраствуйте Максим. Спасибо за видео, очень помогло в аналогичной настройке с ораклом. Но возник вопрос. Вы используете трансформацию "transforms" : "unwrap", "transforms.unwrap.type" : "io.debezium.transforms.ExtractNewRecordState". В документации к дебезиумум описано что таким образом состояние before опускается, а состояние after пишет. Так собственно и происходит. Но вот в вашем видео схема json упрощается куда больше - если раньше json состояли из двух полей schema и payload, то теперь берется лишь значение payload. Как вы это сделали? В вашем конфиге не видно каких то еще трансоформаций

[@user-tw8wv7tm2y]

на всякий случай, если вдруг кто станет искать. Решается через использование key.converter=org.apache.kafka.connect.json.JsonConverter value.converter=org.apache.kafka.connect.json.JsonConverter key.converter.schemas.enable=false value.converter.schemas.enable=false

[@alexserbul]

Спасибо!

[@danilmerkurev6248]

У вас тоже не работает это видео?

[@anatgu3397]

Пфф, кондактор тоже бесплатен только для одного брокера в кластере, а я то уже губу раскатал....

[@KinectRazor]

Conductor в данном случае используется для демонстрации. В кластере Kafka все будет аналогично. А в GUI на топики веселее смотреть