Mengenal Change Data Capture

Mengenal Change Data Capture
JOIN PREMIUM : www.youtube.co...
DISCORD PREMIUM : • Post
Donasi :
Saweria : saweria.co/Pro...
Social Media :
Instagram : / programmerzamannow
Facebook : / programmerzamannow
Telegram : t.me/Programme...
KZbin : / programmerzamannow

[@adaf22karina]

Buat video tentang pemahaman data engineering pak eko, kaya tools apa aja yg perlu di kuasai dan menjaga data integrity dari data ingestion sampai ke user

[@ProgrammerZamanNow]

Noted

[@ciptaputra9019]

Setuju

[@prototroy4140]

Mantap pak eko, sebagai DE(Data Engineer) saya berasa refresh knowledge hehe

[@heruprasetyo2901]

baru bikin ini pake kafka dan debezium, gara2 ini naik gaji 😂

[@ProgrammerZamanNow]

mantul sekali

[@mohammadrachman1344]

Bikin tutorial nya pak hehe

[@nonono9700]

Wah mantep gan

[@heruprasetyo2901]

iya, jadi awalnya di kantor gw ada prosess ETL dari mysql ke clickhouse dan itu jalan setiap malem pake cronjob, jadi data yang masuk data H-1, dan disitu gw kepikiran gimana ETL itu bisa realtime , akhirnya bikin deh pake kafka sama debezium

[@raptyaxa5771]

Cara biar hemat memory gmn ya? Default config-nya consume banyak memory soalnya.

[@agung__88]

mantab pak, request bikinkan tutorial spring security dari pemula sampe mahir pak sekaligus integrasi sama keycloack. Jadi course berbayar juga gk apa2. likenya temen2 jika setuju :)

[@insideofcode]

pak kapan kapan bahas multitenant architecture dan bestpractice nya.

[@didi_abdillah]

Mantap, Ini yang saya cari untuk implementasi di fitur Display Dashboard di kantor

[@juniorprogrammer94]

wah pas banget ni studi kasusnya, baru denger debzium, udah hampir 4 tahun buat dan maintain listener bikinan sendiri, buat listen perubahan di oracle lalu di insert ke elastic.

[@abdulazizpr]

Menarik, kalo di terapkan di machine learning menarik juga buat trigger data training

[@dhoifullahluthmajied825]

Metode ya lebih ke Data Streaming dengan skala besar atau big data .... mantap 👍

[@maulanasafa376]

Wii dah nyenggol2 DE ni, lanjut Pa Eko

[@toast34]

Bikin seri data engineering pak

[@ciptaputra9019]

Setuju

[@unvizy]

wahh makasih Kang, saat ini saya ngelisten change di db nya pake cronjob setiap 2 detik sekali, wkwkwk

[@ProgrammerZamanNow]

rajin sekali

[@Fuji-gn9nx]

bikin overheat sistemnya ga tuh?

[@Fuji-gn9nx]

coba cek penggunaan cpu, ram, dll setelah menggunakan cara itu naik drastis ga bang?

[@freakstyle1st]

makasih banyak abangkuh!👏🏻👌🏻

[@trisna_cb]

Mantap pak,, kalo misal bikin sistem backup database itu gimana apakah bisa dengan ini? Soalnya kalo via export entah ke SQL ataupun TAR.GZ itu semakin gede datanya semakin lama prosesnya

[@kemasghanis.7358]

Keren banget mas, mas Eko saya mau nanya kalo misalnya hanya 1 database nya apakah best practice nya untuk stream change data tetap pakai debezium, atau gausah mas?

[@adityanuriskandar5670]

baru aja beres pake Debezium sama kafka, terus nyoba flink juga enak sih flink

[@kemasghanis.7358]

flink itu untuk apa mas?

[@adityanuriskandar5670]

@@kemasghanis.7358 sama saya pakai buat CDC juga

[@adityanuriskandar5670]

@@kemasghanis.7358 saya pakai untuk CDC juga mas

[@andrewfandy8178]

trimakasih banyak pak 🙏

[@zhalie12345]

Makasih Pak Eko 👍🙏

[@RidwanGhibran]

Subangna dimana a' ? Hoyong ameng lah 😁

[@akbarwisnu840]

Next tutorial tools pke pentahoo dong pak eko

[@BuildWithAngga]

Keren ilmunya pak! sehat2 terus

[@NderekPusat24]

Untuk display antrian arsitekturnya gmn ya mas, biar selalu dapat data realtime

[@josuamanalu7393]

Permisi pak Eko izin mau tanya, untuk contoh case penggunaan debezium ini seperti aplikasi RealTime dashboard begitu ya pak?

[@symsth16]

Kalau ETL di industri itu gimana pak?

[@bramoke]

lagi riset pake SQL SERVER + CDC Debezium + kafka. Ada problem, mungkin bisa di koreksi. Ketika struktur tabel berubah, perubahan struktur juga tidak langusng berubah. Jadi perlu di "disable/enable" kembali CDC nya. Mungkin ada yang mengalami, apakah memang harus seperti itu ya?

[@aisimo]

selama ini saya ngandelin Postgres notify ama listen

[@Fuji-gn9nx]

pakai ini aja udah cukup harusnya kalau kamu cuma pakai database postgres, karena biasanya udah dioptimasi untuk postgres karena yang buat postresnya langsung

[@fauzanar5074]

Pak bahas database transactional jika kita menggunakan lebih dari 1 jenis database dong

[@ProgrammerZamanNow]

Gak bisa kalo itu

[@fauzanar5074]

Solusinya gimana ya pak? Apakah harus 1 proses di endpoint tersebut harus pake 1 tipe database?

[@yuzarqadariesman3907]

kalau setelah mendengarkan perubahan maunya bukan kirim ke db lain, tapi mau call suatu api itu gimana pak ?

[@ProgrammerZamanNow]

kirim ke kafka, trus bikin listener di kafka untuk manggil api lain

[@pawrfecto]

mau nerapin CDC juga di tempat kerja, tapi archive log di oracle nya ga mau dibuka karena alasan storage, jadi bingung pak 🤣 jadinya ya cdc trigger based, ga bisa log based, mohon kalo ada inspirasi lain 😅

[@ProgrammerZamanNow]

kenapa gak mau dibuka?

[@pawrfecto]

@@ProgrammerZamanNow alasan storage kata dba nya pak, kalo lognya dibuka nanti storagenya lama2 besar

[@springcode1619]

Sama kayak Hibernate envers ya pak

[@IkaPrudential]

apa beda ny dgn Audit Trail ?

[@ilmupadiyoutubechanel]

mas sama SCD sama kah?

[@ajiahyana4302]

Pak eko, saya pernah coba pake debezium buat listen postgresql, tapi pas initial data copy ke kafka jadi bloated bgt, datanya emg hampir 1m tapi storage hampir tembus 1tb buat nampung data capture nya aja di kafka. Apakah saya ada salah implementasi di / settingan debeziu ato kafkanya ya?

[@ProgrammerZamanNow]

Di kafka bisa di setting retention nya, misal 100Gb jadi lebih dari itu otomatia data lama hilang

[@ajiahyana4302]

berarti consume datanya harus cepet juga ya pak eko?, itu padahal datanya masih belum ada 1/4 nya.. kalo sepengalaman pak eko buat data yang mayan besar apakah emang butuh server yang gede pula storage nya buat catch up datanya? belom lagi kafka node nya harus minimal 3. cmiiw

[@kiva7413]

Pak eko, mau tanya bedanya change data capture sama database replication apa ya ?

[@ProgrammerZamanNow]

itu replica sesama database yang sama

[@kiva7413]

@@ProgrammerZamanNow Terima kasih pak eko pencerahannya

[@hexantra]

Ini connector MySQL nya bs dipakek utk MariaDB kah Pak?

[@ProgrammerZamanNow]

harusnya bisa

[@hexantra]

@@ProgrammerZamanNow ok Pak thx ingfo

[@glowiever]

wih gw butuh sh cmn dbnya udh 4.5TB, backup aja pun gk ada :'(

[@ProgrammerZamanNow]

kalo corrupt datanya, langsung gak bisa tidur

[@glowiever]

@@ProgrammerZamanNow saya tiap hari berdoa supaya cepat pindah 😭

[@muhamadrafipamungkas4465]

@@glowiever pindah db apa pindah kerja

[@hamdanfatah3920]

Untuk Perubahan yuk bilang AMIN (All in 01 Anies-Muhaimin)

[@isana4071]

ada masalah apa sih kawan