5 Datastore Yang Wajib Dipelajari Backend Programmer

5 Datastore Yang Wajib Dipelajari Backend Programmer
00:00:00 - Pendahuluan
00:00:56 - Redis
00:02:59 - MongoDB
00:05:01 - Elasticsearch
00:07:59 - Apache Kafka
00:09:45 - Apache Cassandra atau ScyllaDB
00:13:50 - Penutup
JOIN PREMIUM : kzbin.info...
DISCORD PREMIUM : • Post
Donasi :
Saweria : saweria.co/ProgrammerZamanNow
Social Media :
Instagram : / programmerzamannow
Facebook : / programmerzamannow
Telegram : t.me/ProgrammerZamanNow
KZbin : / programmerzamannow

[@momodev8572]

thankiess kang,, dari dulu ndak tertarik dgn database selain sql karna ndak tau fungsiny,, sekarang jadi ngerasa layak untuk dicari tahu

[@kentoesandroid]

Pas banget kang, gw lg bingung mo migrasi db ato engga. Dengan nntn ini gw jd ngerti fungsi tu datastore

[@takGune-wd6gv]

mantap pak eko, saya tonton sampai selesai

[@sheirralee3015]

untuk data custom disimpan ke relasi database, ya gunakan field type text, lalu di jquery kita olah custom2 data tersebut menjadi json sebelum submit form, lalu simpan deh json tadi ke field text

[@noviantoekobudiman7633]

Terima kasih ilmunya bang

[@ena1735]

kang .. bahas timescaleDB donk.. lebih bagus lg TimescaleDB + PostgreSQL + Hasura.. utk kasus2 aplikasi yg tidak terlalu besar.. masih butuh relational db.. tapi butuh realtime.. dan partitioned and indexed by timestamp menggunakan hypertable

[@dewanggabayuputra4642]

Menarik

[@OpannapO]

Om request bahas N.A.T.S 😁

[@maulgans]

ngomong-ngomong soal discord, jadi inget video dari bytebytego yang bahas soal disocrd juga

[@kokizzu]

Tarantool (buat OLTP, sejenis redis tapi support sql biasa, jadi dia append semua mutasi ke log, dan apply ke RAM, ada 2 engine memtx buat yg pure inmem, vinyl buat yg partial ke disk, lebih fleksibel dari cql, speednya sejenis sama scylladb, cuma ga multicore/multiregion by default) Clickhouse (buat OLAP, atau bigquery kalo kantornya tajir, sama2 column oriented juga, jadi query2 yg lelet di postgres/mysql di clickhouse biasanya cuma sedetik, tapi ya buat backoffice/anak2 data, bukan buat dikroyok rame2, support materialized view reactive by insert seperti di scylladb) queue-nya pun gw pake 2 itu dipaksa jadi queue (tergantung butuh cepet atau butuh hemat), signalingnya pake NATS

[@Maman-Setrum]

keren, boleh dicoba nih

[@wisnusaputro5547]

buat reporting scylla db atau clickhouse ?

[@pcbeginner3156]

Kang, ijin bertanya Kalau DB utama kt mysql untuk insert/update/delete dan butuh fitur elastic search utk display nya. Bagaimana cara pengaturan nyalin datanya?

[@Maman-Setrum]

sampe saat ini sy gk pernah secara full menerapkan MongoDB, cm pake MongoDB GridFS utk menyimpan file.

[@radenagus17_]

Bang, lanjutin materi typescript-nya dong..😅

[@ongkay250]

up

[@AreaWIBU]

klo udh belajar Mongo db apakah perlu belajar Cassandra lagi? (untuk lapangan pekerjaan saat ini terutama perusahaan besar) soalnya baru belajar redis dan mongo db di materi ini (niatnya belajar elastic ama kafka)

[@alfarizidwiprasetyo9280]

Pelajarin aja kalo ada waktu luang mah, seperti yg pak eko bilang belajar hal baru bisa dapet konsep baru dan paradigma baru

[@fakeITDevTeam]

mas, boleh request tutorial lengkap untuk masing2 topik: 1) angular. 2) Nest.js secara lengkap. setahu saya belum dicover di channel ini. semoga berkenan. terimakasih.

[@ProgrammerZamanNow]

angular tidak akan saya buat, nestjs sudah ada agenda

[@fakeITDevTeam]

@@ProgrammerZamanNow boleh tau kenapa alasannya? angular tidak akan dibuat. maksud saya alasan seperti apakah tidak cocok dengan atmosfer startups atau hal lainnya begiitu. takutnya buang waktu kl ternyata angular ke depannya kurang bagus masa depannya

[@aliif]

cmiiw mas eko fokus backend@@fakeITDevTeam

[@tomhanksact]

semua tipe db dipilih pake genset

[@jossesuryapinem42]

youtube searchin querynya seperti apa ya pak ?

[@khoironi5954]

Sumologic itu termasuk datastore juga gak pak?

[@yaudahaja821]

kafka ama redis sering aku pake

[@ichsanashiddiqi5138]

Kak, tanya dong, gimana ya caranya ketika worker udh consume queue kita, lalu datanya di insert ke DB. Agar tidak terjadi to many conection di mysql gimana ya? Soalnya sya menggunakan 1 mysql, yg digunakan untuk wrtie data dari queue, dan read / write dari website. Soalnya data dari worker bisa insert 2rb an data per detik

[@wahyono1739]

redis ku aku juga pakai, klo kafka untuk simpan case apa mas ?

[@handinugroho1784]

@@ichsanashiddiqi5138 bantu jawab, bisa pakai connection pooling. Kalau di postgresql ada yang namanya pgbouncer

[@saluran1733]

@@ichsanashiddiqi5138 1. Close connection di akhir kodingan consumer kalo emang udah selesai 2. Batasi jumlah consumer 3. Insert sekaligus dengan batch Insert into ... Values (...),(...),(...) Maksimal 25 row sekali insert (paling optimal)

[@okisyahroni1130]

Klo firebase gmn ka

[@abandxz]

Mohon dibuatkan pembahasan untuk timeseries database

[@aliif]

up

[@ProgrammerZamanNow]

nanti di kelas mongodb ada timeseries

[@azzamydev]

Worthin an mana antara Elasticsearch atau Meilisearch untuk dijadikan driver Indexing dari database relational pa ?

[@kokizzu]

yg ES boros resource sih, tergantung query pattern, alternatif lain ada typesense yg ini semua taruh ram tapi jadi bocor juga kalo datanya bejibun

[@kokizzu]

kalo data ga banyak2 amat bisa tetep pake tsvectornya postgres, jadi selalu in sync dengan data asli ga nambah stack baru, tapi ya search2nya pake di replica saja jangan query dari master

[@msyamil.hamami]

Bang yang elasticsearch tuh bisa digabung dengan db lain kah? misal data di simpen di relational db, terus nyari datanya lewat elasticsearch? atau gimana konsepnya

[@kokizzu]

biasa pake CDC atau trigger ke queue lalu diinsert ke ES/search engine apapun (jadi eventual consistency)

[@saluran1733]

Yup bisa pake CDC macam debezium (real-time), masuk ke kafka, consume pake python/nodejs/Java, masukin ke elasticsearch Atau pake Apache airflow (batch scheduler)

[@msyamil.hamami]

Ooh baru tau, thanks bang

[@AdenPribadi]

bang klo untuk menyimpan file gambar, dokument pdf atau excel, cocoknya disimpen didalam projects atau disimpen kedalam database, atau ada cara lain? jika disimpen ke database, baiknya menggunakan data store apa? dan yg disimpan apa nya? file originalnya atau file yg sudah di konversi ke base64 ?

[@latief-hu4od]

pake s3 aja bro biar enak

[@ardutech]

S3 solusi terbaik si

[@ProgrammerZamanNow]

cloud storage

[@kokizzu]

object storage atau nas mount saja, jangan taruh database, ntar backupnya jadi painful gara2 terlalu banyak

[@rahmatdicky2971]

enaknya yang disimpan di database berupa PATH file nya, untuk file nya sendiri disimpan di cloud storage

[@fakhryhizballahal8482]

Pak mau tanya data store apa yang cocok untuk membuat api last seen. Datanya berubah tiap detik

[@saluran1733]

Redis atau elasticsearch mungkin Tapi kayaknya lebih cocok redis

[@mfn4646]

Om tambahin vector database

[@tomhanksact]

untuk llm, sm rs nih db nya

[@blipur]

Bang, berarti kalo bikin project, berarti gk harus satu database ya di gunakan?

[@syahrizalakbar6216]

biasanya aplikasi modern pakai lebih dari satu database, dipisah-pisah perdomain, juga terkadang terdapat duplikasi menyesuaikan kebutuhan, tujuannya macam2

[@bilmansarmadi1932]

elasticsearch apakah bisa di migrasi datanya otomatis dari db kita sebelumnya?

[@yazidalin3308]

seharusnya enggak, karena sudah bedah sistem dan schema nya

[@bayumukti3466]

Mau tanya kalau kita pake ORM apa masih harus buat domain / entity?

[@ProgrammerZamanNow]

Masih, orm itu pasti bikin entity nya

[@arya83o292]

Permisi pak mau nanya saya biasanya untuk filtering mengirim request ke body , apakah krg lebih elasticsearch seperti itu pak?

[@bilmansarmadi1932]

jangan jangan semua Api Makai method post semua ya?

[@arya83o292]

@@bilmansarmadi1932 iya pak

[@NVX_STUDIO]

mang kenapa ya mysql ga termasuk dalam list nya apakah sudah tidak relevant kah?

[@ProgrammerZamanNow]

diawal kan dijelaskan, datastore selain relational, mysql itu termasuk relational

[@fahejaaa]

bahas redpanda pak eko, katanya 10x lebih cepet dari kafka

[@ProgrammerZamanNow]

banyak sih yang ngeclaim seperti itu, tapi nanti kita liat, apakah adopsinya bakal banyak atau enggak

[@nauvalyusufaddairy4705]

Ada yg lagi belajar DynamoDB ?

[@kokizzu]

rasanya buat perusahaan big giant doank, saking ga fleksibelnya/limitasinya 11-12 sama cassandra/scylladb, bigtable (ga bisa ini ga bisa itu, query2 kompleks ga bakal jalan)