MASALAH SCHEDULER PADA APLIKASI

[@amsyary1]

gila sih ini di kasih gratis😀

[@frdmn12]

mas request bahas fundamental web security dong, hal dasar yang perlu ada untuk keamanan website kita

[@muhammaddhafin4836]

beberapa bulan di production pake NSQ , baru tau ada feature delayed message '-' dan berguna banget buat scheduler ini

[@ProgrammerZamanNow]

hahaha

[@radrenVideos]

Mantap Mas Eko, vlog sharing ilmu kayak gini juga sangat bermanfaat diiringi dengan video tutorial. terimakasih ilmunya

[@achyarca]

akhirnya nemu juga yg kaya gini.. terima kasih mas eko.. ini ngebantu pekerjaan saya..

[@rudytrisaputra2794]

Gokil parah sih ini materi, kebetulan lg berkutat di scheduler ini

[@bungsu8149]

Yang gini" harusnya di share di kuliahan ilmu nya mahal loh ini keren

[@zipangestu6293]

Dikuliahan malah jadul banget, cuma dasar, itupun dosen masih belum bisa apa2, sangat minim kreatifitas

[@ChrisnaBayuAji]

bang tutorial message broker fundamental dong.

[@wilyantoliang2273]

17:27 terkait reminder yang bersifat beberapa waktu ahead (cthnya: reminder 1, 6, 12 jam kedepannya) yang dikirim masing2 (3x) ke message broker. Apakah ada baiknya dikirim satu per satu yang di kirim setelah yang sebelumnya? Cth: saat invoice terbentuk jam 13:00, maka dibuat delayed message untuk jam 14:00 (1 jam kedepan). lalu saat 14:00 sebuah message diterima, ternyata invoice juga masih belum dibayarkan, oleh berhubung kita tahu invoice-nya jam 13:00 berarti kita bsa tahu next reminder setelah 1 jam adalah reminder 6 jam, dan seterusnya.. sehingga kita tidak perlu terlebih dahulu register delayed message untuk reminder 6 jam dan reminder 12 jam yang belum tentu diperlukan Gimana menurut pendapat teman2?

[@erickirwansyah]

keren mas videonya. bermanfaat sekali

[@alifrizkipambudi1626]

alhamdulillah sudah dijalan yg benar, pake sidekiq

[@rsamprat]

mas eko, Request ttg pengambilan data / load data dalam jumlah besar , misalnya jutaan data harus di load dalam 1 waktu dan waktu yang cepat dan misalnya harus tampil di web dalam bentuk table/grafik/visualisasi. soalnya sering banget saya dapet pertanyaan itu ketika interview ataupun dr teman..

[@helmisatria]

high cost query nya dibikin scheduler, scheduler nya ngelakuin write ke cache (redis ato yg lain), webnya nanti request data yg dibalikin dari cache. Kalo cache overkill bisa bikin table baru juga yg difungsikan jadi cache drawbacks: data ngga realtime but mostly dengan kondisi ini users ga gitu butuh realtime, harusnya delay 10-60 menit acceptable tergantung kondisi

[@rsamprat]

@@helmisatria jadi ketika ada request ga selalu nge eksekusi query yang berat itu yah, disimpan dlu di cache/db dengan table terpisah nanti ketika ada request di kembalikan hasil dari proses yang sudah tersimpan di cache / table baru tersebut?

[@helmisatria]

@@rsamprat betul 👍

[@rsamprat]

@@helmisatria okee mas noted , bisa di implementasikan di pekerjaan hehe. terimakasih mas.

[@stewartimanuel]

klo ada waktu boleh bahas clean architecture di golang mas. masih bingung implementasi nya di rest api

[@ProgrammerZamanNow]

nanti akan dibuat course terpisah

[@FernandoYannice]

mas Eko kl misal somehow message brokernya mati/data dlm message brokernya hilang, ini artinya kita wajib buat kaya 1 endpoint yg bisa di hit manual utk nge query ulang order mana yg butuh di update statusnya utk di masukkan ke broker ya ?

[@fakhryhizballahal8482]

mau tanya, Saya ada buat aplikasi log book mau buat pengingat jika tidak mengisi logbook mau di kirim notifikasi artinya harus query tiap hari ya? ada solusi yang lebih effeisn

[@dhanyaritonang4713]

Terimakasih mas atas materinya. Pertanyaan : Misal ada produk A masuk jam 1, dan pada jam 2 (expired) akan di kirim ke aps kita oleh rabbitmq delay nya, tapi tepat di jam 2 ada something wrong dan gagal, maka di jam2 berikutnya, si rabbitmq ini tidak akan nge hit ke apps ya lagi mas ? jadi produk A ini akan terabaikan ? atau ada sesuatu yang ketinggalan.. Terimakasih mas

[@andreasgunawan9409]

mas eko, request vlog buat ngebahas seputar data konsistensi antara cache sma database, sepertinya menarik

[@papanlesat]

Kalau di laravel saya biasa pake task queue lalu saya run di background

[@youAnz]

udah hampir 1 tahun dan baru tau kalau ada fitur delay di rabbitmq, dan baru kepikiran juga untuk buat logic seperti ini

[@ponkcoding]

Bertahun-tahun saya pakai rabbitmq, ternyata baru tau ada fitur delayed message.. Thanks bgt Mas Eko

[@ahmadiofficial4398]

Keren , Teknical Arsiteknya Blibli

[@PancaMuhammadYusuf]

Asli keren banget pembahasannya

[@ayuwulandari5613]

Kalau bapak berkenan, maybe next time bisa sama praktek pak buat materi yang ini heheh

[@maikakanaka5416]

makasih mas, keren (y)

[@rdimas7445]

Kesimpulannya gini ya berarti: - Ketika kita dapet order, API order akan kirim 1 bundel data order tersebut ke message broker sesuai delay waktunya, jadi dari step ini kita udah ngeset ini order mau dicek statusnya udah dibayar apa belum berapa jam lagi? Dan value itu akan jadi value untuk delay waktu si message broker. - Ketika message broker melakukan tugasnya, maka si API order akan dapet tuh pesan dari message broker berupa order2 yang tadi masuk, ketika dapet maka API order akan melakukan pengecekan di setiap order yang datang dari message broker ke DB, apakah order tersebut sudah dibayar apa belum? - Kalo sudah ya dia tidak akan ngirim lagi ke message broker, tapi kalo belum dibayar maka proses akan diulang di poin 1 & 2. Begitu ya Mas Eko? Tapi saya ada pertanyaan Mas, kalo message broker ngasih messagenya banyak ya, anggap aja ternyata ada flash sale yang dimana order memang banyak tiap detiknya, itu ga ada masalah ya? Soalnya pastikan API order akan query terus2an ketika message broker ngasih 1 bundel order2 yang udah siap dicek pembayarannya. Mohon jawabannya Mas Eko 🙏

[@cahyo210989]

kang, kalo misalnya pake semacam redis / memcache untuk store data order yang belum expired / belum dibayar dan nanti cron akan hit per menit untuk pengecekan ke redisnya, apakah bakal berat dimemory-nya ?

[@ayipeiger]

Ide ny menarik mas, mungkin kekuranganny belum bs untuk fitur memberikan notify sebanyak X kali berdasarkan tipe pembayaran ny.

[@aaffio]

Masih di scheduler mas Eko, kalau pakai spring scheduler, ternyata di production instancenya ada 2. Maka scheduler tersebut ketrigger 2x. Nah gimana caranya biar ga 2x?

[@rikisyahputra3805]

Kalau di sistem nya memang sudah ada message broker, dan service - service lain juga menggunakan message broker tersebut, memang efektif solusinya mas. Cuman kalau misalnya satu-satunya yang bakal menggunakan message broker adalah si sevice yang butuh scheduling tadi, atau dalam bahasa lain, kita deploy message broker cuma buat solve masalah scheduling di satu service, kayaknya terlalu berlebihan gak mas? Kalau kondisinya begitu menurut Mas Eko enaknya gimana, yang kepikiran di saya cuma implementasi internal scheduler di service nya langsung, yang otomatis bikin service nya (sedikit) lebih kompleks, correct me if i'm wrong ya, masih belajar saya 😀

[@ProgrammerZamanNow]

implementasi delayjob sendiri jatohnya datanya pasti disimpen di memory, kalo app nya crash atau restart, semua data ilang, alhasil biasanya disimpan di database, jatohnya sama lagi kayak masalah di awal, harus query2 terus ke db buat dapatin data yang harus dikirim. message broker banyak yang ringan, seperti rabbitmq dan nsq itu ringan

[@rikisyahputra3805]

@@ProgrammerZamanNow oke, tengkyu mas eko 😀

[@d4nief]

mas kalo scheduler buat get data dari thridparty tiap 5-10 menit sekali, dalam stiap kalinya 500 hit endpoint thirdparty, kalo pake cara ini bisa buat cpu usage turun gak ya? sekarang 190% cpu usage

[@dwiyudirayianugrah3081]

Makasih mas Eko ilmunya

[@aliif]

saran topik vlog mas eko tentang load balancer

[@farizmamad]

Knowledge yg bagus, langsung bisa diaplikasikan dalam project. Thank you mas Eko

[@muhammadbellabuaynunyai2754]

Bahas implementasi CI/CD dan instalasi nya dong mas

[@gamayudistira1792]

Kalau belum waktunya ngirim dan data masih di delayed di message broker, kemudian message brokernya dimatikan apa datanya ikut hilang juga?

[@ardyeamando643]

Thanks mas ilmunya, saya biasanya pake aws sqs (delayMessage) + lambda.

[@immoralblackcat5036]

sqs batas waktunya 15 menit maksimal kan ? kalo di aws bisa pake Amazon MQ, paas nya rabbit MQ

[@fajara.r1379]

@@immoralblackcat5036 Amazon MQ udah bisa delayed message ? Terakhir riset belum bisa soalnya

[@ttaqinmu707]

biasanya kalo ada periodic task / scheduler gini pakai celery. baru tau kalo pure message broker juga bisa

[@thisaintarf]

ijin bertanya pak Eko, best practice untuk handle error saat jalanin job di queue atau message broker gimana ya, semisal ada job kirim email, tapi job itu gagal dan masuknya ke error, nah biasanya error itu kita tampung di open api atau ada cara lain? terima kasih

[@naufalhanan358]

kalo di laravel sama kayak dispatch delay ya?

[@abduns]

Versi yg berbayar kaya azure service bus kan ya

[@rekaputr4]

Mantap Bang materinya, sebagai yang menjaga Server sering lihat Task scheduler yang digunakan terus menerus misalnya setiap menit itu membuat konsumsi utilisasi resource/CPU yang tidak efisien, karena 90%nya digunakan untuk tapi tidak ada output. dan ada peningkatan CPU sekitar 3-5%

[@imamfahrizal2916]

Mas, untuk handle order berarti nggak pake kafka berarti ya? Atau di set dua message broker.

[@ranggaaprilioutama9957]

Semoga sehat selalu mas eko..🙏sekalian saya butuh saran,mas..untuk log management bagusnya pakai datadog,new relic,atau kibana ya mas?

[@faktagunawanzega606]

kurang implementasi rabbitMQ pada rest api, kiranya dapat dibuat example konten nya

[@ragilmanggalaning]

Keren, baru tau kalo RabbitMQ punya fitur delay message

[@philipsjosepatric9178]

first, saya paling update dichannel ini

[@dawamraja1930]

Mantab

[@namnamira882]

MasyaAllah TabarakAllah, terima kasih banyak atas ilmunya mas, semoga dibalas dengan yang lebih baik.

[@akyaslearning2963]

Makasih ilmu mas

[@giriaditya5992]

Mas eko, bahas lebih dalam plus dan minus nya monolith vs microservices

[@akhirwannovendi6248]

Liat solusi ini . . Bahagianya kaya lagi puasa ketemu azan maghrib

[@reshaelfianur7537]

tutorial rabbit mqnya belom ada pak, klo kafka kan udah tuh

[@eastlife12]

mantabb bang utk sharing-nya,, mngkn next-nya boleh bahas serverless bang

[@FernandoYannice]

Ijin bertanya mas. Berarti misal kita ada scheduler yg buat check status pengiriman (dr delivery partner tdk ada webhook) dan ini dijlnkan tiap menit. Berarti dari data orderid ini send ke MB utk hit ke endpoint A, lalu misal nya blm delivered maka di endpoint A tsb create lg job ke MB ya sampai ketika sudah delivered maka di ignored. Bener seperti itu kan ya mas? Terima kasih.

[@ProgrammerZamanNow]

publish job, listen job nya, kalo masih belum dapat status, publish lagi job nya, listen ulang, gitu aja terus sampai dapat status nya

[@anggawardana6114]

Apakah delay message di message broker tersebut ada batasan waktu maximal delay time nya? Pengalaman pakai google Cloud Task, Maximal schedule 30 hari kedepan

[@ProgrammerZamanNow]

batasannya cuma hardisk kapasitas message broker nya

[@zulfikra1996]

mas klo misalkan message brokernya kita bikin sendiri menggunakan socket trus kemudian didalam socket tersebut menerima data yang mana data tersebut terdapat data kapan kita akan menotify user dan ke endpoint mana yang harus ditrigger, apakah itu menjadi salah satu solusi, jika ada kekurangannya mohon dijelaskan, terima kasih

[@ProgrammerZamanNow]

semuanya udah dihandle sama message broker, bikin sendiri bukan pilihan yang bijak, fokus sama tujuan kita, gak harus semuanya dibuat sendiri

[@mrgeek9472]

kalo di laravel bisa queue & sama-sama disempen di database 👍

[@harto_6428]

bikin tutorial quartz scheduler bang

[@fatkur]

Sehat terus ya pak, semoga jadi amal jariyah 🤲

[@thedesertlizard7216]

Kalau saya biasa fix scheduler di database utk operasional data generation menggunakan event. Ada yang menggunakan cara ini juga? Share pengalamannya dong terutama kelebihan kekurangannya

[@ayipeiger]

Event mysql? Mungkin gk akan beda dgn cronjob, hny low level di sisi DB. Kesulitanny berdasarkan pengalaman, agak terbatas kalo ad pengolahan variable dkk.

[@rekiyanseto6289]

Mantap pak Eko.. Dosen unofficial gw nih...

[@AmbriBlack]

Terima kasih, lumayan ini pake ngeluasin solusi untuk masalah scheduler.

[@rifaimartin3668]

bahas redlock redis mas eko hehe

[@fakedoctor7527]

Masih pake cron permenit 🙏 makasih insight nya

[@muhammadnurfilza7614]

terimakasih pak

[@aliaries8722]

bermafaat sekali anjer, RIP udemy !!!!

[@rikiramadhani2308]

mas eko. mau nanya, kalau misal kita sudah pakai kafka terus gunain message broker lain seperti RabbitMQ tadi, apakah penggunaan nya bisa digandengkan? mengingat aplikasinya sudah pakai kafka

[@ProgrammerZamanNow]

Gak ada masalah

[@aliif]

mantap mas eko

[@bellalie2532]

Thankyouu udah share hal ini mas eko, solusinya mantap!

[@jonimane1177]

Req android programming dong mas eko

[@fantechh]

Mungkin next bisa bahas eventsourcing mas.

[@lekharis]

Terimakasih kang akhirnya issue saya beberapa bulang yg lalu terpecahkan di video ini 🤝

[@ProgrammerZamanNow]

mantap

[@hiwijaya]

wahh jawabannya ada disini 🤩

[@yayanrahmatwijaya9338]

Nggak kepikiran 😂 sesimpel ituu 🙂

[@ridhoidris4454]

waah akhirnya terjawab juga pertanyaan saya selama ini, thanks gan

[@hanggianggono3765]

mas eko, saya pernah develop pakai ruby on rails terus pakai library yang namanya delayed_job, tapi dia tuh butuhnya redis, apa itu bisa disebut sebagai message broker juga?

[@ProgrammerZamanNow]

redis ada fitur pubsub nya juga

[@philipsjosepatric9178]

sidekiq ya?

[@dev9033]

sumppaah keren pak, ini ilmu mahaal

[@iqbalsiddik5094]

mas eko, request tentang graphql mas. ehhhe

[@dummail5709]

Terimakasih ilmunya mas... Bermanfaat

[@user-zw1of7sx2i]

Bang Subang Compreng hadir nih :D

[@HusnaRamadan]

mantap om...terima kasih. saya pernah solve ini pakai channel dengan time delay di golang, tapi engga tau bagaimana performa aplikasinya 😅 tapi logika saya cara ini akan sangat membebani app, menurut om eko bagaimana?

[@ProgrammerZamanNow]

kalo app nya dimatikan, datanya ilang, karena channel golang cuma live di memory aja

[@HusnaRamadan]

@@ProgrammerZamanNow 😂😂 iya ya. mesti revisi nih project kecil saya. baru sadar, thanks om 🙏🙏

[@tatum-]

mantap mas ilmunya, keep sharing 👍🏻

[@fandisusanto7221]

Mungkin ngirim ke mq nya jangan sekaligus 3 di awal. Tapi 1 di awal, lalu setiap terima delayed message, dievaluasi, apakah ignore, kirim notif tambahan (delayed mq), ataukah set expire. Jumlah mq yang dikirim / diterima akan lebih berkurang.

[@bentosaragih7298]

makasi saran ny pak

[@sumantri5654]

bahas fitur chating mas eko

[@juwandysusilo]

Suka dengan konten2nya 👍👍

[@suizengaming9163]

Kalo boleh tau bang knp thumbnail nya pake foto itu terus

[@ProgrammerZamanNow]

Karena saya males kalo tiap bikin thumbnail harus foto selfie

[@MuhammadTatasMaulana-ry6fh]

Untuk membuat tampilan di android itu pake XML?

[@DellyFauzian]

Mantaaaapp kang, terimakasih banyak

[@qoddio694]

bang bahas implementasi encrypted db password di production

[@vadoberland888]

mas eko, bahas ttg ODOO donk..

[@gamingmoment1003]

mantap makasih pak eko

[@ProgrammerZamanNow]

Sama2

[@abdurrahman710]

makasih mas, sangat bermanfaat :)

[@abdulbasith6534]

mindblowing sih ini wkwk

[@justsiwi]

Hehe..solusinya boleh juga 👍😁

[@ProgrammerZamanNow]

solusi harus cari yang sedrrhaa :D

[@muhammadlutfi1341]

Monitor dibelakang itu tipe / merk apa gan ?

[@ProgrammerZamanNow]

xiaomi curve 34

[@bagussulaeman1096]

thanks banget bang, ini masalah gue sekarang 😅. bingung sendiri pke cronjob

[@rafifmulia1193]

mantul mas

[@rizkhal]

daging semua mas

[@the_compiler_youtube]

Suka banget rutin gini :)

[@revi8065]

kalau pakai js? bisa juga nggk pak? kn di js ada delay juga

[@ProgrammerZamanNow]

itu kalo app nya mati, nanti ilang delay nya

[@usersecondary6510]

Mahal ni

[@fazadailylife5085]

Kalo cronejob di jalanin tiap menit apa ada efek ke server lemot mas? Saya kirim pesan WA ke member tiap menit sekali selama satu minggu full di tanggal 16-22, apa itu bisa jadi masalah ke server?