Arsitektur Data Pipeline Batch dan Stream : Bedanya dan Tips

[@InsinyurData]

Mohon maaf ada kesalahan teknis, videonya terpotong di akhir, untuk batch / stream dan tips saya lanjut di kzbin.info/www/bejne/foPVg5SgpNVmf5o

[@hatersbudiman7058]

Terima kasih banyak, semoga sukses selalu 😇

[@pagibuta9132]

Kak makasih bnyak udah bikin akun ini dan materi ini.

[@hamdanromadhona3139]

penjelasannya sangat enak dipahami, terima kasih banyak kang!

[@muhamadfauzi9310]

Jazakumullahu katsiroon dan terima kasih materinya mas...selama ini saya ikuti materi nya jelas dan mudah dipahami.

[@InsinyurData]

Terima kasih!

[@donisaputro5501]

sangat mudah dipahami, makasih banget bang.

[@rhomadonadhitiaprakarsa965]

keren ... terimakasih kang

[@mfazima9790]

terimakasih info nya

[@farisocta7466]

Makasih ilmunya pak, mudah dipahami. Apresiasi

[@mohammadilhamaziz7855]

lanjut terus pak, paham betul

[@InsinyurData]

Terima kasih, baru lanjut lagi rilis baru. Semoga bermanfaat.

[@ajiboke7362]

mas, bikin video yang update tools nya donk...

[@naufal3030]

Permisi, pak. Izin bertanya, apakah seorang Data Engineer harus menggunakan OS Linux? Kalau iya, distro Linux apa yang cocok untuk pemula? Terima kasih sebelumnya.

[@agrikridanto2013]

Thanks sharing nya, auto subscribe

[@InsinyurData]

terima kasih!

[@iqbalhanif2461]

Kereeennn

[@urimsitio]

Terima kasih ilmunya Bang

[@InsinyurData]

Sama2. Semoga bermanfaat.

[@DiditVelliz]

Thanks Bang untuk video pembelajarannya, sekalian mau tanya kalau IDE GUI nya yang bisa dipakai untuk mengakses ke Hive / Hadoop apakah ada free ataupun paid yang bisa direkomendasikan?

[@InsinyurData]

Untuk Hive, saya pernah pakai Ambari. Tapi kurang saya sarankan. Bisa coba Zeppelin ya. Untuk Hadoop, tidak ada GUI-nya, kalau IDE tergantung bahasa masing2. Misal kalau Java / Scala itu nyamannya pakai Intellij biasanya. Bisa juga pakai Visual Studio Code.

[@muhajirikhsanushabri2928]

Kalau row-based replication (mysql/mariadb) masuk ke stream kan ya, apa correctness nya bisa dibilang lebih buruk dari statement-based replication (a.k.a batch)? Kejadian yang paling menakutkan dari segi kualitas untuk stream apa ya kak? Oiya untuk data ingestion itu bisa dibilang replikasi kan ya kak?

[@InsinyurData]

Yang tricky dalam streaming itu soal operationalnya. Ketika ada data yang salah, treatmentnya jauh lebih tricky dibanding dengan batch. Data ingestion bisa dibilang replikasi, karena pada intinya copy data ke sebuah centralized data lake

[@muhajirikhsanushabri2928]

Baik kak Terima kasih atas balasannya bisa buat batu loncatan saya buat menjelajahi dwh pipelining mariadb dengan membandingkannya dengan skema dari kak Rendy🙏

[@ajiboke7362]

makasi sharingnya mas... bermanfaat dan mudah penjelasannya.. ayo semua yang mampir disini pada subscribe...

[@klockklock801]

Thanks bang

[@AyahMaza]

Untuk arsitektur Busines Intellegence yang sumber datanya dari SQL server, excel file dan High Frequency data, apakah cukup dengan menggunakan arsitektur datawarehouse atau bisa mengimplementasikan arsitektur data pipe line ?

[@InsinyurData]

Cukup sekali. Apa pain points Anda? Misalnya, kalau sulit untuk analisis data dari sumber yang berbeda2, langkah pertama satukan dulu semuanya di sebuah tempat, misal ditaruh di SQL server-nya.

[@FirmanRosdiansyah]

videonya kepotong di 22:56 mas

[@InsinyurData]

Wah terima kasih mas, saya baru ngeh, saya upload lanjutannya di sini kzbin.info/www/bejne/foPVg5SgpNVmf5o

[@arsiamallah1360]

ini untuk begineer bagusnya mulai dari yang open source ya Bang?

[@InsinyurData]

Betul, biar paham dalemannya. Biasanya lebih banyak resource yang menjelaskan bagaimana teknologinya bekerja. Pemahaman konsepnya itu sekali udah paham bisa kamu pake di yang tidak open source juga karena biasanya cukup serupa.

[@arsiamallah1360]

@@InsinyurData Siap terima kasih, ditunggu Bang tutorial end to end beginner DE nya, semangat sukses