KENAPA REPORT LAMBAT?

Hi guys, di vlog kali ini saya mau bahas tentang "kenapa report lambat?", mungkin teman-teman ada yang mengalami harus membuat report dalam bentuk excel atau pdf, dan lambatnya minta ampun, yuk kita bahas kira-kira solusi nya gimana
JOIN PREMIUM : kzbin.info...
DISCORD PREMIUM : • Post
Donasi :
Saweria : saweria.co/ProgrammerZamanNow
Social Media :
Instagram : / programmerzamannow
Facebook : / programmerzamannow
Telegram : t.me/ProgrammerZamanNow
KZbin : / programmerzamannow

[@goKoding]

Penjelasan yang cukup bagus, makasi...

[@Ghowiet]

Akhirnya dibahas juga, terimakasih mas eko sangat membantu.

[@abdulkadirthalib1215]

Alhamdulilah, mantap Mas Eko memberikan solusi mengatasi masalah "kenapa report lambat". Terima kasih

[@AVIANTORICH]

makasih mas, mencerahkan banget pembahasannya

[@AhmadYani-cf5ej]

Mas eko request tips mengelola dashboard yang memiliki banyak grafik, biar tidak lambat saat di load. Terimakasih

[@KenHanifu666]

saya pernah mengalami kasus kayak gini. jutaan data yg di proses validasi lalu di export. ga rekomendasi query jutaan pke php karena dia pny limit time. intinya query itu lbh cepat dan stabil jika di local servernya. jadi cara saya ngakalin bikin backend program dari c++ di server nya lalu di generate excel ke directory server. jadi dari php(web apps) akan send request ke backend c++ ketika sudah slesai backend akan mengembalikan dalam bentuk link download. CMIIW

[@knobhack]

Mantap mas eko! Selanjutnya tolong bahas sidecar proxy pattern mas. Makasih ilmunya

[@haiyoloh1668]

Hmm, aku baru belajar pemrograman struktur data, ternyata kepakenya disini, bukan masalah ukuran totalnya saja, tapi juga memori yang digunakan saat berjalan, makasih pak eko

[@Mr12ud1]

Terima mas, sangat membantu

[@juniorprogrammerid]

Setuju banget mas, client memang harus di nego untuk masalah report kalau datanya emang terlalu banyak., apalagi maksain masukin gambar ke report Ternyata emang hampir semua dari temen - temen programmer kena masalah disini. Thank you sudah mewakili gundah gulana orang banyak mas, hahaha

[@programmerviewid1768]

wkwk

[@programmerviewid1768]

setuju paling susah di nego udh mah pengen excel harus ada gambar nya pula

[@juniorprogrammerid]

@@programmerviewid1768 semua data lagi, tu baris excel aja bisa kurang lama2, hhahahha

[@JosprimaSihombing]

Mantap, keren

[@maulanamalique]

Terima kasih atas ilmunya. mungkin mas bisa bahas teknik penggunaan variabel Application Scope (global scope) di aplikasi dengan clustering.

[@rianblake3172]

Kebetulan gw juga lagi ngerjain laporan di kantor Sempet kepikiran juga buat pake cursor tapi gak jadi di implement Karena requirementnya ternyata ga butuh raw data Jadi cuman butuh jumlahin data harian buat disusun jadi laporan bulanan Akhirnya bikin event di sql tiap jam 1 malem buat insert hasil ngitung data harian ke tabel baru

[@rumahdesign5024]

sumpah ini keren banget

[@VictorMongi]

Terima kasih bang atas pencerahannya, bang mohon petunjuk langsung ke programmingnya :) makasih bang...

[@dody__595]

akhirnya paham kenapa harus pake csv..

[@adienurzaman]

Perihal report nih yg bikin repot, ketika client pengen minta record report nya bnyak bnget hahaha, makasih mas eko vlog nya edun banget ngebahas hal ini, sehat selalu

[@mahmuddinnf]

kalau di laravel ada laravel cursor yang take less time but use more memory than chunk.. ada juga laravel chunk for better memory management, but it take longer time to get data.. cmiiw..

[@ramadanyosi8744]

kalo boleh, ada refrensi cara penggunaan nya ga mas, lagi problem ini ni, generate pdf. error 503 mlu

[@mfhanif]

mas bikin video tentang teknik bikin reporting/dashboard gitu

[@andikasari78]

Wah Trimakasih banyak mas ilmu nya terkadang mengalami kesulitan untuk menarik data dengan jumlah ribuan dan jutaan mohon pencerahan untuk teknik Programing nya moga bermanfaat 🙏

[@muhammadramdan7227]

mendengar "JSON yang terisolasi" sepertinya merefer ke format JSONL.

[@user-hj4je1uu3i]

masuk mas eko✔️✔️

[@fandisusanto7221]

Kalau menurutku, penyebabnya bukan ini. Tapi pada umumnya karena penyalahgunaan "model" di framework, seperti misalnya laravel atau CI. Kalau makenya bener sih gpp. Tapi... Contoh yang ekstrim seperti berikut: Misalkan ada data Order relationship ke Customer, lalu OrderDetails dan Items. Seringkali, report jadi berat, karena dia tarik data semua order. Lalu untuk semua order, setiap SATU order, aplikasinya ngambil data customer dan data orderDetails, dan terkadang sama itemsnya, itu dalam query yang berbeda. Jadi kalau misalkan data ordernya berjumlah 1000, jumlah roundtrip ke database berjumlah: 1 kali tarik data order: 1000 data 1000 kali tarik data customer 1000 kali tarik data orderDetails 1000 kali jumlah item masing masing order untuk ambil order. Total sekitar 3001 - 7001 round trip. Anggap setiap roundtrip itu handshakingnya 20ms. Jadi satu menit dong narik data 1000 doang. Lalu lemot. Programer menyalahkan datanya terlalu banyak. Jadi paging menampilkan maksimal 10, 20 atau 50 order. Terus lemot lagi. Servernya disalahkan. Upgrade server. Vertical scaling pula. Narik data 1000 harusnya sama sekali gak berat. Walaupun tiap row 100 column sekalipun. Ukuran data / bandwidth? Anggap setiap row 100 column, VARCHAR(50), 1000 row. Maksimumnya (semua VARCHAR(50) terisi): 50 * 2 byte * 100 column * 1000 row = 10 juta byte 10 juta / 1024 / 1024 = 9,53 MB Kurang lebih sama dengan satu gambar sepatu highres di ecommerce. Secara bandwidth, gak berat sih harusnya. Berjuta juta user ecommerce buka gambar high res setiap harinya aja mampu. Secara memory. Harusnya gak berat juga. Tapi seandainya itu dianggap berat. Yang narik data segitu, tentunya bukan semua user. Tapi user user khusus seperti staff atau manajemen perusahaan. End User gak akan narik data seperti itu. Jadi harusnya aman banget. Trus ada masalah indexing juga. Tapi masalah indexing cerita terpisah lagi.

[@ihzakarunia2408]

ini untuk kasus query n+1 brrti ya.

[@fandisusanto7221]

@@ihzakarunia2408 Yes. Laravel Relationship solusinya. Atau kalo nggak select join.

[@ramapradana2975]

Request topik "komunikasi antara server dan frontend(web/mobile) untuk aplikasi realtime"

[@apriyantotobing4304]

Websocket / publish subscribe?

[@difaal2355]

Kang ekooo, request video implementasi cursor nuhun kang hehe

[@herlanmustopa]

nice

[@NandaWidyatama]

Kalau saya sih biasanya dipaging per suatu criteria yang terindex. Misal perhari... By ajax, rekursif increment by date. Lalu hasilnya diwrite di file, txt/csv. Untuk kemudian nanti diproses outputnya, biasanya CSV kalau memang data banyak, karena bisa append. Memang lama, tapi resiko out of memory kecil. Kelebihannya kita bisa beri ui feedback ke user, seperti progress bar.

[@MrGbison]

kenapa report lambat kt kenal konsep ini dgn nama export perlu diketahui.. yg bikin lambat bukan pada proses penarikan dr database ke memori tp proses dari memori generate ke excel. anda 😂mengatakan proses lambat saat narik dr db ke memori jd array. tp sy coba debug.. proses dr db ke memori, dr memori ke excel.. nah proses ke 2 ini lama dr sisi lib excel. solusinya: 1. berikan perintah naikin memori..dimana memori normal saat digunakan adl 10m misal.. nah pasang 100m (iniset) 2. ganti lib excel yg lbh ringan.. 3. optimize table 4. biasanya db ama aplikasi ada di 1 pc.. dan berdasarkan pemeriksaan.. db memakan resource . dan hrsnya java memiliki kemampuan thread.. 🙄 kenapa gk dipakai ya?

[@ProgrammerZamanNow]

1. naikin memory bukanlah solusi jangka panjang, makin lama data makin besar, scale vertical akan selalu ada batasnya 2. seringan2nya lib exel, sebelum pembuatan file excel, semua data akan di load ke memory, coba bikin report yang ukurannya jutaan record, bengkak2 juga jatohnya 3. optimize table gak harus nunggu bikin report, sejak awal pembuatan aplikasi emang harus di tuning table nya 4. emang ada ya di production gabungin db sama app di 1 vm yang sama? saya udah pernah bikin vlog nya, kenapa itu bahaya

[@MrGbison]

@@ProgrammerZamanNow 1. itu sebabnya sy nulis iniset pada jawabannya.. itu merujuk ke hanya coding ini yg memakai memori besar. saat anda hrs menghadapi problem hrs excel lalu countet jgn excel dll..🙄 maka waktu anda counter itu berujung sia2 krn kebutuhan user apalagi pc berbeda2 yg pake gk bs pake solusi anda. sy bahas user / workstation bukan server. 2. 😂 yg terjadi... dipaksa dijadikan html dan kasi header xls.. sebenarnya.. solusi ini mindahin proses dr server ke workstation. 3. tunning table disini dr pemberian index, pembuatan summary table yg mana berisi rekapan. kl kt bahas di thn 2000😘 pasti ditolak.. krn harga space gk murah.. gk seperti skrg.. tetap mahal🙄 krn ada client yg ngotot.. hanya boleh datany di server miliknya ❤️ yah ini curhat proj merah (u know lah🙄) 4. 😂 ada donk.. 😁 kamu jelasin ke client agar jgn gabung jd 1 berujung ditolak.. apalagi kl client udah nentuin ini server...web dan db ada di sana🙄 yah namanya juga saya.. programer jaman Orba. dmn jaman saya.. kl ngoding punya masalah.. nanya di mailing list.. nunggu seharian buat dpt jawaban.. beda kyk skrg.. nanya bs google.. ato minta bantuan grup.. anyway.. yg jd problem saat ini adl.. ada beberapa hal yg gk bs di handle. kyk jgn pake metode ini.. tetapi di abaikan client.. krn mereka punya kepentingan dan pengaruh . sehingga kt sebagai prog hrs putar otak turun ngoding dgn keadaan yg ada. thats real.life..

[@ChrisnaBayuAji]

Terkadang query report punya banyak join dengan data jutaan. Biasa diakali dengan buat tabel khusus report.

[@rafiridhan]

buat tabel khusus berarti hasil query di input ke tabel itu ya?

[@wisnu5223]

@@rafiridhan iya bikin function yg ngecreate report, jd misahin data transaksi dgn data report

[@rafiridhan]

@@wisnu5223 penasaran, klo misal tiap ngecreate report masuk data ke db, jd berat ga ya? berat misal db jd tambah gede size nya atau kinerja nya jadi lambat maybe.

[@fakedoctor7527]

Display di data studio bisa export csv

[@ChrisnaBayuAji]

@@rafiridhan bukan setiap create report bikin ke db. Tapi setiap ada transaksi sudah ada aksi ke tabel report. Jadi query report kita ke tabel tsb. Bukan join table kesana kemari.

[@kharismarizqi7648]

Request video soal time management dong mas, tentang gimana cara mas eko membagi waktu antara belajar, bekerja, buat konten, dan keluarga/kehidupan, khususnya strategi belajar disela-sela kesibukan thanks

[@ruquds]

aku yakin view nya lebih dari 100k, hy aku dari masa lalu

[@bocahtuanakal2336]

pake fastreport server cepat baik design maupun outputnya. Tinggal drag drop aja. Cuma adanya di Delphi ama Visual Studio. Kalo mau gabungin ama aplikasi web ya tinggal reverse proxy.

[@artun1337]

Coba di luar negeri channel ginian pasti, yang paling populer klw di Indonesia konten ampas mulu yang trending kelihtan pendidikan di Indonesia hancur,

[@bahyusanciko]

saya pake array chunk

[@choirulfadholanii9067]

Mas apa yang jadi pertimbangan dalam suatu aplikasi untuk diterapkan microfrontend atau tidak? Terima kasih

[@rzl3284]

Apakah cursor itu maksutnya menggukan foreach?

[@nekocoder]

pernah kejadian saya disuruh benerin aplikasi yg dah lama jalan. keluhannya tuh pas generate report lambat, pdhl katanya dlu ga pernah lambat. ternyata developer yg lama ga pernah implemen index di databasenya, dan query nya jadi lambat karena datanya makin banyak😤

[@sylvesterhasdianto2485]

kang Eko, saya ada kendala masalah pertukaran data B2B yang banyak menggunakan API. bisa tolong diajarkan konsep API Stream dan penerapannya.

[@ahmadfaisal6356]

bikin video tentang "how memory works" om plisss

[@GunaDermawan]

Bisa cba belajar disini. kzbin.info/www/bejne/hofElWOZZ8ifoNE

[@deyostudio8797]

toh d web frontend juga bisa generate csv filny sih ... btw cursor brrt kyk chunk ya dii eloquent

[@z2ny499]

normalisasi bisa pake konsep tradisional warehouse,jadiin node2 microservice,pake cursor juga bisa backendless elk,lain sisi dr arsitektur db, masalah index dan maks 6nf

[@faisalamir7466]

Request handel Transaction Propagation Bang. Terimakasih.

[@crashcourseindonesia5063]

izin tanya mas eko, kalo proses nya sebaliknya gimana ya. Misalnya user upload file excel dan datanya di convert buat di simpan di db, apakah bentuk file yg diupload seperti excel ataupun csv berpengaruh?

[@cakramedia5963]

kalau pakai "tunning sql" apakah bisa menjadi solusi mempercepat untuk bikin laporan mas eko??

[@deniawugan937]

Cara membuat aplikasi gimana ya bang??🙏

[@princehusky2280]

Nah kebetulan banget ini soal report selalu jadi problem di perusahaan. Sayangnya kalau dibuat format CSV (Saya pakai Laravel Excel), gabisa multisheet jadinya. Bener aja dapet speed lebih cepet (~ 2 detik lebih cepet), tapi user sendiri minta dikelompokkan datanya di sheet terpisah :(

[@yonathanrizky]

coba pakai php spout, lebih cepet dri laravel excel

[@MrGbison]

kalau bs pakai excel nativenya jd jgn laravel excel tp phpsreadsheet.. ditambah dgn nativenya ini kamu bs nambahin hal lainnya seperti penambahan filter yg lbh cepat

[@rianamik7609]

Kenapa ketika menggunakan jasper report server dan report di rancang di jaspertsoft studio data jutaan bisa mampu dengan cepat dibuat dalam bentuk pdf ...Mungkin bisa di bantu jawab atau di buatkan videonya mas..

[@AbdurrahmanNaufal_17]

Pak, bagaimana jika untuk insert data jutaan melalui excel? Saya mengalami hal yang lambat jg disana.

[@adych3644]

Mohon pencerahan, untuk tools report to excel dalam pemrograman php yang lebih powerfull dari phpspreadsheet apakah ada alternatifnya ? jika tidak ada yang opensource, yang berbayar ok, rencana untuk mengolah jutaan record, terima kasih sebelumnya

[@kurniajigunawan2682]

Tp kalo generate report gitu? memang banyak file ya? misal kalo kita generate banyak file tp pengen kita bundle zip gitu,. apakah juga bakal makan banyak memori ketika ngebundlenya?

[@septiansahnuraziz1929]

hallo mas eko, mau tanya..., berarti kalo misalkan case nya di ubah untuk menyajikan data untuk response di API itu best practice ga si klo data nya di masukin ke array dlu, baru di sajiin ke response kita ? terima kasih banyak mas sebelum nya

[@bosansetiaphari]

Untuk API kayaknya pake pagination atau yang berbasis stream akan lebih baik

[@harloom9603]

mas bisa ngasih tutorial rabbitmq kgk atau broker lainnya

[@xyraclius]

kzbin.info/www/bejne/iXLVgoiMZah4aKs&ab_channel=ProgrammerZamanNow

[@Anjarmuktiprakoso]

Selamat sore pak Ada rencana buat tutorial android ngga yah? Terimakasih

[@ProgrammerZamanNow]

ada

[@Anjarmuktiprakoso]

@@ProgrammerZamanNow Ditunggu pak

[@giriaditya5992]

mas bisa ga message broker gantiin websocket

[@teroahooy5276]

Kak bahas html ama css plssss 😭

[@bebasaja1565]

salah channel. ini channel programmer jaman now. artinya yg dibahas ya permasalahan-permasalahan dan teknologi jaman now.. Sedangkan utk bahasa html dan css bisa dicari di channel lain.

[@melonggamingchannel]

Kalau misalnya pakai API, untuk generate report dengan data jutaan. Bagian cursor nya ke bagian backend dan untuk frontend bagian nya, convert ke CSV? Jadi flow nya di bagi 2 ?

[@ProgrammerZamanNow]

bikin API untuk ngelakuin scrolling data, bisa liat konsep yang dilakuin elasticsearch

[@FitraRahim]

Hasil reportnya CSV maksudnya agar data reportnya bisa dibuka di Aplikasi Office seperti Excel etc, jadi datanya ini mmg dikhususkan buat divisi non-IT. Jadi untuk front-end nya ya kasih link download hasil generate back-end aja.

[@Ghowiet]

Mas Eko, tolong bahas tentang source code discloaure php dong, gimana caranya biar gabisa diakses melalui url langsung, udah nyoba pake htaccess tapi mentok.

[@ProgrammerZamanNow]

di premium course php, di materi php mvc sudah saya jelasin caranya

[@Ghowiet]

@@ProgrammerZamanNow ok thx mas

[@piyanmaulana412]

izin bertanya pak... saya masi pemula saya penasaran kalo misalnya data yg 1jt di array itu sudah di generate ke csv. apakah nanti data array itu otomatis terhapus? atau masii ketampung di memory ya?

[@ProgrammerZamanNow]

Gak kan langsung 1jt di memori, karena sedikit2, jadi nanti otomatis dihapus garebage collector

[@piyanmaulana412]

@@ProgrammerZamanNow owhh oke pak trimakasi infonya. maap pak izin tanya lagi. jika saya punya array dg 100 data. lalu array tersebut di parsing dari controller ke view. pertanyannya apakah stelah digenerat di view array nya akan hilang dari memori secara otomatis?

[@AlfaTech9]

Mas eko, kalau report nya bentuknya total, contoh total penjualan bersih, best practice biar ga lemot gmn ya mas

[@ProgrammerZamanNow]

menarik, bikin vlog kenapa dashboard summary lambat

[@AlfaTech9]

@@ProgrammerZamanNow siapp, ditunggu mas vlognya 🔥🔥🔥

[@MrGbison]

ini gk usah ribet2 bikin table summary yg berisi nilai final..

[@bahyusanciko]

data mentah itu ya

[@AdiHidayat95]

lambat dan anu pak pas di download gak kelar2 file corupt klo datanya buanyak 😂

[@statem9357]

kalo di laravel bisa pakai chunk kah ?

[@rionnovel]

Bisa, saya pake

[@statem9357]

@@rionnovel recommend nya di chunk berapa biji ya ?

[@rionnovel]

Apanya yg brp biji?

[@MrGbison]

@@rionnovel kyknya chunk auto dr libnya