Jadi Data Engineer, Ini Tools Andalan Saya

[@iqbalatwork9817]

apache spark, apache beam, apache netflow (task). thank you

[@rioagastya239]

thanks udah share bli, tiang masi kuliah semester 4 dan mau fokus di bidang data engineer. video bli sangat membantu ❤

[@budisetiawan1060]

bg eka, buat vlog lagi dong, mengenai kegiatan kerja programmingnya dengan teman2 di kantor, vlog yg pertama seru bener, apalagi kalau vlog yg baru nanti, buat lbh detail lg bg, mengenai projek yg dibuat dn lain2nya.... ditunggu ya... semoga selalu sukses dan sehat selalu

[@upkoding]

Terima kasih Budi, kita disini baru keluar dari lockdown jadi belum bisa kumpul2 lg 🙂🙏

[@budisetiawan1060]

@@upkoding siap bg... d tunggu vlog serunya

[@DediAnanto]

bli kasih penjelasan perbedaan Data Engineer, Data Science, Data Analytic. terutama bagian DA vs DS itu aku masih suka merasa sebenarnya mirip, tp aku liat beberapa kursusan atau lowongan kerja kadang mencantumkan 2 profesi data tersebut. sehingga kesimpulan ku berarti DA & DS itu 2 profesi yang berbeda. mungkin nanti bli bisa bikin episode yg collab dengan rekan kerja untuk menjelaskan ini

[@upkoding]

Data engineer itu profesi, dari namanya udah jelas sebenarnya merka itu engineer/developer tapi yang mengkhususkan diri dalam pengolahan data, transfer data, data infrastruktur dll. Kalau data science itu bidang ilmu. Data analitik juga bidang, salah satu orang yang bekerja didalamnya bernama data analyst, tugasnya juga sudah kelihatan dari namanya yaitu menganalisa data, membuat data itu menjadi bermakna bukan cuma kumpulan angka dan huruf di database. Data engineer wajib bisa coding, data analyst ga harus bisa coding tp biasanya kuat di SQL dan mungkin di visualisasi data.

[@DediAnanto]

@@upkoding soalnya aku nemu lembaga kursusan di Indo nih bli, satu lembaga, tp dia open kelas data science, data analytic, dan data engineer. kalo dari spoiler apa yg dipelajari sih data engineer mirip dg yg bli jelaskan di video ini yg dipelajari. nah data science dan data analytic ini lho aku lihat yg dipelajari kok masih mirip2, ada python, R, SQL, visusalisasinya. aku malah jadi bingung akhirnya apa bedanya DS dan DA ini :)

[@shaufi10]

@@DediAnanto dulu gw pernah ikut bootcamp like DS basic walau cmn sebulan itu awalnya sih belajar ruang lingkup DA + Math (karena DS itu perlu math) dl baru ke DS, bedanya algoritma yang dipakai kalau di DS butuh algoritma machine learning jadi sebelum ke DS pelajari dl DA, karena saling berhubungan, tanpa DA dan DE, DS ga akan bisa analisa data, kalau di Indo sih lo pelajari juga hal DE karena DS di Indo masih macam superman (ini kata teman gw waktu dia jadi DS di unicorn indo, skrng dia pindah PT jadi senior engineer)

[@DediAnanto]

@@shaufi10 oh gtu ya, ok makasih infonya kak

[@_mamarodia]

@@upkoding kak praktek umumnya klw data berasal dari beberapa sumber hasil compilasi nya setelah di clean transform itu di simpan lagi ke relational database kah? soalnya dari yg kak bilang DA kuat di sql, berarti mayoritas data yg di olah DA ada di relational database, gitu kah? maaf kak soalnya awam bnget

[@satriobudi6090]

Mantap. Anda adalah orang Bali yang bikin saya kagum. Terimakasih kak EKA

[@upkoding]

Terima kasih Satrio 🙏.

[@agusbudianto5834]

Bang buat tutorial Apache Spark & Air flow donk

[@_Bocah]

mengelompokan usia pengguna tanpa ada (belum mengetahui) data usia, cuma mengandalkan hobi, gaya hidup, pengeluaran dari pengguna. itu termasuk jobdesk seorang data enginer, analis, atau saintis bli?

[@the_worst00]

Saran dong bang.... Basic jadi data engginer.. Saya semester 5 dan tertarik ke data engginer.... Saya sebelumnya sudah liat roadmap nya tapi saya ingin saran dari abang yg udah kerja.. .

[@upkoding]

Bisa dimulai dari mantapkan SQl dan programming dl terutama Python mungkin. Karena itu banyak dipakai.

[@gilangnfriends]

​@@upkoding bang wajar nya orang kalo belum pernah tau python level lanjut itu untuk bisa aja . Pait nya brp lama ya ? Ahaha

[@aweaweee430]

Saya punya basic mengolah data via excel & sekarang lagi belajar mySql, saran dong skill wajib apa aja yg jadi standar biar bisa jadi data engineer minimal junior level lah

[@upkoding]

Skill SQL nya di tingkatan terus ya, karena datanya nanti akan banyak diquery2 dengan SQL juga, selain itu belajar tool2 data manipulation seperti Pandas itu juga bagus. Data engineering itu seorang engineer jadi kemampuan programming juga sangat penting.

[@aweaweee430]

@@upkoding oke bang, saya juga pakai js & php untuk beckend, lagi fokus ke 2 bahasa itu

[@adanngrha]

makasih banget bang pengetahuannya, semoga nanti bisa nyusul jadi seorang data engineer juga

[@upkoding]

Pasti bisa 👍

[@adanngrha]

@@upkoding mungkin next time boleh bahas roadmap buat jadi data engineer bang 😄

[@agusefendiii9679]

sya sbnr nya gk begtu perduli ama temanya.. nonton karna emng seneng aja sama mas Eka :) Baik orng nya hehehe

[@upkoding]

wah terima kasih 🙏🙏

[@ridoananda2256]

Apapun konten yang abang share selalu bermanfaat kok👍

[@upkoding]

Hehe terima kasih atas penyemangatnya 🙏

[@maulanasafa376]

Pernah denger kebanyakan data engineer berawal dari back-end. Seems true ya Bli 😄 Salah satu target karir saya nih Bli, jadi data engineer. Semoga bisa kesampaian ✊

[@upkoding]

Kalau langsung loncat ke data engineering tanpa pengalaman sebelumnya memang tidak mudah, tanpa mengetahui darimana dan bagaimana data itu berasal, disimpan dan diolah. dan backend engineer biasanya paling dekat dengan itu. 🙂

[@danu6790]

@@upkoding tapi pak, kalo pick data engineer sebagai early careernya, sebelumnya belum megang dibagian development,atau kerja dibagian IT apakah diperbolehkan?

[@Rakademi]

Suksma udah sharing2 bli, ttp semangat buat berbagi pengalaman 🙏 Apache Spark dan Airflow mmg mantap ya! 😃

[@upkoding]

Terima kasih (R)akademi 🙏 semoga selalu konsisten sharing ilmu di channelnya.

[@Rakademi]

@@upkoding Makasi bli 🙏

[@mfazima9790]

bismillah di awal tahun ini semoga saya bisa switch career, sebelumnya saya megang oracle skrg mau coba jadi data engineer

[@upkoding]

Amin semoga bisa 🙏

[@huowushang]

udah lamaaa belajar python, dari 2.2.2, 2.5.4, 2.7 sampai sekarang 3.11, tp gk pernah kerja dibidang coding/programming. nasib otodidak 😢😢😢

[@upkoding]

Udah berapa kali melamar kerja emangnya? Dan jangan belajar aja terus, perusahaan nyari yang udah bisa dan mampu menunjukkan skillnya, buat para otodidaker ndak ada cara lain menunjukkan skill selain lewat proyek2, ikut kontribusi di opensource dll.

[@kadekmentik]

Keren banget penjelasannya Bli, sangat rinci, suksma banget bli 🙏🙏🙏

[@upkoding]

Semoga bermanfaat 🙏

[@bambangaryo5331]

Kalau pakai Talend ESB gimana om? Udah pernah coba?

[@cempakajanuari5983]

Mantap sharingnya. Kalau boleh request neh bang. Boleh dong ceritakan perjalanan sebuah aplikasi terkait dengan hosting dan databasenya. Darimana harus dimulai dan apa yang dilakukan ketika aplikasi itu menjadi besar dan semakin besar. Apa yang harus dipersiapkan dari awal. BTW thanks.

[@upkoding]

Itu namanya scaling, bisa horizontal bisa vertikal. Horizontal, kita banyakin servernya. Vertikal, kita gedein servernya.

[@harrypath6313]

Bli buatin vlog kerja di kantor dong atau a day life software developer gtu ??

[@upkoding]

Kita belum keluar dari lockdown disini kebetulan 🙂

[@harrypath6313]

@@upkoding kalau gtu buatin videonya di rumah aja bli thank you

[@SweetHeart-rq5hd]

Bang izin tanya tau ELK STACK ga? Kalo iya saya boleh request buat dibahas ga di video selanjutnya? Nuhun

[@upkoding]

Elk stack itu apa ya? Belum pernah dengar nih 😃

[@marvhan888]

bli, berarti linux itu sudah musti dipakai ya untuk fundamentalnya sebagai seorang data engineer.

[@MuhammadAkbar-cv7dj]

Bli, kalo pentaho jaman sekarang di 2023 masih recommend ga untuk tools ETL?

[@upkoding]

Sepertinya masih banyak yg pake, saya sih nggak pernah pake. Tp kalau menurut saya sendiri, sekarang kecenderungannya para data engineer lebih prefer tool2 yg open source dan aktif komunitasnya seperti Airflow, atau AirByte. Recommended atau tidak itu tergantung use casenya, kalau pentaho bisa solve problem kita kenapa tidak. Intinya jangan mentok di satu platform, coba beberapa platform dan pakai yg paling cocok dengan use case kita. Apa pentaho cocok untuk semua kasus tentu tidak, apa Airflow/Airbyte cocok untuk semua hal pasti juga tidak.

[@mohammadhilman3998]

jadi apache spark dan apache beam itu middle ware yg dipake buat masukin data ke datawarehouse(big query) nanti bikin report querynya di big query. gitu ya bli ?

[@upkoding]

Iya betul, mereka adalah software yang membaca dari sumber dan menulis ke big query. Tapi tidak hanya memindahkan, kalau mau dalam prosesnya kita juga bisa melakukan transformasi dulu sebelum menyimpan ke BQ

[@rizkyanggara8341]

klo mau magang data eng minimal portofolio ny gmn pak?

[@upkoding]

Yang lupa saya sebutkan yaitu skill SQL ya 🙂 itu kita akan banyak pake SQL kalau main dengan data. Yang lainnya bisa dipelajari sambil jalan

[@rizkyanggara8341]

@@upkoding makasih bli🙏

[@zlatandepi3114]

@@upkoding Kalau pake aws apa masih perlu memperdalam sqlnya?

[@TheMisterDonald]

Mas minta tutorial apache spark, pyspark, air flow, beam.. Hehehe.. Matur sukma

[@upkoding]

Waduh itu setiap topik akan perlu seri tersendiri 🙂 untuk saat ini saya baru di tahap pengguna, belum nyaman untuk mengajari.

[@rianamrodin3503]

apache oozie pakai juga ngga bli? kenapa lebih milih airflow?

[@upkoding]

Kita nyari yg Python based dan sepertinya Airflow lebih banyak dipakai saat ini jadi komunitasnya juga lebih besar, dan ada managed servicenya di google cloud namanya Cloud Composer.

[@fntasticHijack]

Kalau spark, hive dan hadoop di install dalam cluster atau container yang terpisah bisa apa tidak ya om? Nanti ketiga nya komunikasi via network

[@upkoding]

Kan biasanya mereka memang terpisah dan independen, kita pakai spark atau tools lain untuk konek ke mereka.

[@fntasticHijack]

@@upkoding ada tutorial konfigurasi hive dan hadoop terpisah clusternya om? Saya coba bikin kedua aplikasi di cluster berbeda masih gagal terus

[@dimasnugroho9996]

akhirnya upload video baru, thanks bli ilmu nya 🙏

[@upkoding]

Ini untuk menjawab permintaannya dimas nugroho 🙂

[@dimasnugroho9996]

@@upkoding siap bli, semoga sehat selalu dan sukses untuk karir nya, semangat juga berbagi ilmu nya bli eka 😊😊

[@hafidzdev17]

lah foto nya sama wkwk

[@dimasnugroho9996]

@@hafidzdev17 apakah kita sodara beda ibu gan ? kkwkw

[@hafidzdev17]

@@dimasnugroho9996 beda klan wk

[@mrbernard331]

Bang mo tanya untuk Benchmark aplikasi(PHP) dan kebutuhan database gmn, apakah cukup dengan clonning aplikasi pake container. Karena untuk modul tertentu lumayan responya tp pada menu lainya di sangat lambat

[@upkoding]

Wah saya tidak pake php, tp biasanya bukan bahasa masalahnya, mungkin ada query yg bisa dioptimize atau mungkin memory aplikasi kekecilan dll. Harus dilihat benar2 appnya untuk bisa tahu dimana masalahnya

[@Fang_Yuan88]

Rekomendasi course udemy yang paling bagus untuk belajar menjadi Data Engineer apa pak?

[@upkoding]

Saya ga banyak ikut course udemy untuk materi data engineering kebetulan, saya belajar dari banyak baca aja dan study kasus dari mereka2 yang sudah duluan terjun di data. Dan kebetulan saya bisa langsung praktek karena diperusahaan juga membutuhkan jadi itu yg buat saya belajar lebih cepat. Tapi kalau mau cari pasti banyak sekali kursusnya 🙏 bisa coba cek datacamp juga 🙂

[@Fang_Yuan88]

@@upkoding pak apa ada lowongan remote untuk posisi fullstack?

[@Masheru14]

Permisi mas, mau tanya klo secara rasio dari posisi data analyst, engineer sama scientist itu paling banyak yg mana ya dalam sebuah perusahaan ?

[@upkoding]

Tergantung keperluan perusahaanya, tidak ada angka pasti untuk itu. Setiap organisasi rasionya tidak mungkin sama.

[@edwinyakub]

Kalo mau pakai hadoop dan spark apakah memerlukan lebih dari 1 machine (Server/PC)?

[@upkoding]

Kalau mau memanfaatkan fitur distributed computingnya iya kita perlu cluster of computers. Tp development di laptop aja ckup.

[@sirkus1006]

Bang skripsi saya data mining pake Python, dulu juga udah pernah belajar mysql. Udah bisa buat nglamar kerja data enginer/analyst/science Ga bang?

[@upkoding]

Mungkin bisa jadi junior data engineer, kenapa ga dicoba saja 🙂

[@sirkus1006]

@@upkoding terima kasih pak, Reply nya. Saya udah terlanjur masuk di software engineer pak. Mungkin kalau sudah abis kontrak tertarik untuk masuk bidang Big data. Bismillah 😂

[@upkoding]

@@sirkus1006 data engineer juga softwara engineer, ndak ada orang langsung bisa kerja dengan data tanpa kenal software engineering dl.

[@sirkus1006]

@@upkoding wah, berarti secara tidak langsung saya udah ada portfolio buat masuk ke ranah data engineer ya pak. Terima kasih ya pak, sukses slalu 😊🙏

[@raysantoso3622]

Kak, saya lulus sma juga ingin bekerja di australia sebagai web developer. Ada masukkan buat saya gak kak, supaya saya bisa berangkat dan bekerja di sana?

[@upkoding]

Tingkatkan skill, mulai cari klien luar, bisa freelance atau remote dulu, kasi yg terbaik ketika udh kerja dan tunggu hasilnya. Berani bersaing ga dengan developer sini? Kalau masih ragu dan belum berani berarti masih perlu ditingkatkan skillnya. 🙏

[@Nisaicanisa]

Bang kalo laptop amd ryzen 3 3250U cukup ga buat belajar awal data engineer?

[@upkoding]

Tergantung sebesar apa data yg kita olah, data engineer tidak menjalakan programnya di laptop, tidak mengolah data besar di laptop, tetapi di server di cloud. Di laptop cuma untuk coding aja, semua spek komputer yg cukup untuk koding pasti bisa.

[@bintangmuhammad7082]

Bootcamp yang recomended untuk Data Engineer Apa mas?

[@upkoding]

Kurang tahu kalau bootcamp, kebetulan saya tidak pernah ikut yang begitu. Kalau tidak ada yg recommend, coba yang ada dulu, daripada tidak sama sekali kan 🙂

[@dwiwaluyoputranto442]

Dalam proses development web aplikasi kita, bisa disebut big data itu karena faktor apa ya mas? Mungkin servisnya yg banyak kah atau bagaimana

[@upkoding]

Its all about data, bukan servicenya, bukan hostingnya, bukan databasenya. Kalau data yg kita punya sudah tidak bisa lagi diproses di komputer lokal atau server, entah itu karena memory atau space tidak cukup maka data itu terbilang besar. Sehingga perlu tools khusus untuk mengolahnya secara terdistribusi (distributed). Tool seperti Spark, Beam dkk biasanya yg banyak dipakai.

[@dwiwaluyoputranto442]

@@upkoding Apakah ada tools untuk ngecek mas apakah website ini menggunakan big data atau tidak

[@upkoding]

Tidak, gimana cara ngecek isi rumah orang dari luar? Tidak bisa. Yg bisa dilihat adalah website orang dibuat pake apa, itu toolsnya banyak.

[@dadan.dahman.w]

Halo bli, mau tanya dong, saat ini saya smt 8 sistem informasi, dari awal kuliah saya fokus nya di data scientist, jadi ngga belajar backend, misal di python saya langsung belajar basic python, pandas, numpy, matplotlib, scikit learn, tensorflow. Saya ngga belajar django, ataupun flask. Jadi apakah bisa ke data engineer?

[@upkoding]

Sepertinya udh saya jawab di group ya :) maaf baru sempet ngecek yt.

[@ARRYFIRZA]

Bang Eka, Izin bertanya biasanya untuk Data Specialist antara 3 Jobs tersebut (Analyst, Engineer, Science) pengunaan paling minimum Codingan itu yang mana yak bang?🙏🏻

[@upkoding]

Tergantung orangnya sebenarnya 🙂 tp kalau dari ketiganya sepertinya Analyst, banyak main SQL.

[@ARRYFIRZA]

@@upkoding Thanks Bang, untuk rekomendasi Bootcamp/Pelatihan yang Worth It dimana ya? Mau belajar dari 0 karna saya kuliah baru Semester II dan memang pakai Java saja🙏🏻

[@ibnualhakim1599]

Kalau mau belajar data engineer enaknya mulai dari mana pak?

[@upkoding]

enaknya mulai dari sekarang 🙂 Asah skill SQL/Database, skill programming (mungkin Python), lebih fokuskan ke backend, biasakan diri dengan cloud platform (GCP/AWS) dll. Itu bidangnya juga luas sekali, jadi selalu belajar.

[@Nisaicanisa]

bisa belajar di windows dulu ga? atau mesti langsung di linux?

[@muhawi9]

mas,alasannya memaki MySql bukan Monggo db yang no SQL,bukannya lebih mudah?

[@upkoding]

Mudah itu relative, tidak semua sistem cocok dengan mysql dan tidak semua juga cocok pakai nosql. Jadi tergantung requirements sistemnya aja. Semua db jadi bagus kalau cocok dengan sistem yg mau dibuat.

[@muhawi9]

@@upkoding kalau boleh sebagai data enginer bahas dong om,saya sebagai awal saat ini front end flutter mengunakan firebase agak bigung ketika nanti berkaitat dengan database mau makai yang mana

[@upkoding]

@@muhawi9 di firebase kan ada Firestore atau Realtime DB yang mudah dipakai, bisa mulai dari sana dulu.

[@muhawi9]

@@upkoding iya saat ini saya mulai dari saya sebenarnya pernah makai mysql untuk matkul pweb tapi setelah ke firebasie dara kok lebih mudah,enggak ada rensional,saya perlajari ternyata ada fungsi rollback di sql,emang beda2,tapi saya masih bigung rollback iru seperti apa?

[@zarkasihalfauzi]

Pak ijin bertanya, sebagai developer apakah harus apal codingan ? Apakah developer jga bakal nyari codingan juga dan dirombak atau tidak ?

[@upkoding]

Developer tidak mungkin 100% hapal semua codingan yg pernah dibuat atau semua sintak bahasa pemrograman, semakin sering dipakai maka akan ingat lebih banyak. Kalau nyari referensi di google itu biasa dan tidak masalah. Yg penting ngerti apa yg kita lakukkan, bukan hapal semuanya.

[@zarkasihalfauzi]

@@upkoding ok deh, makasih mas

[@Nadira2023]

Bang mau belajar caranya gmna, untuk mysql mengerti sedikit

[@upkoding]

Pertama cari tutorial, dan praktekkan atau latihan. Terus dilatih, semuanya ga bisa kita pelajari hanya dari baca atau nonton video saja. Harus dipraktekkan. Tap sebelumnya harus tahu dulu, mau pake mysql untuk apa, nanti pakenya lewat apa, apakah terminal atau dari bahasa pemrograman/aplikasi.

[@karelhalim6967]

Bang eka saya berniat menjadi data engineer , saya sudah menguasai dasar2 python. Sekarang saya ingin mencoba mengerjakan projek2 dengan bahssa python , apa menurut abang lebih bagus mengerjakan projek yg berfungsi untuk automasi atau bagaimana bang?

[@upkoding]

Apa aja, semakin banyak pengalaman semakin bagus, mengerti tentang backend dan database pastinya sangat bermanfaat untuk menjadi data engineer yg produktif. Semakin luar pengetahuan semakin bagus.

[@shaufi10]

alasan pakai apache spark itu apa karena alternatif hadoop ya mas, kan hadoop itu basenya java, kalau spark kan basenya python, jadi ga mesti pakai hadoop, walau kebanyakan tutorial mulainya ke hadoop

[@upkoding]

Kita ga pake hadoop, karena saat ini Spark, Beam, Flink itu yang jadi industri standard. Beda dengan 10 tahun yang lalu mungkin, sekarang big data storage sudah lebih terjangkau bisa pakai Big Query, setup cloud provider sekarang punya produk untuk big data jadi ga perlu lagi setup hadoop cluster dsb. seperti dulu. Spark aslinya berbasis Scala, tapi punya api yang mudah dipakai di Python dan Java juga.

[@shaufi10]

@@upkoding oke mksih atas jawabannya bli

[@rafiqalirizky4340]

Tools untuk big data apakah sama dengan data biasa?

[@upkoding]

Klo big data berarti sudah tidak bisa diolah di komputer lokal, berarti perlu tool khusus untuk mengolahnya dan biasanya berbasis cloud, jadi bisa dibilang sedikit berbeda.

[@komangwirya8405]

Saran aja bli, saat menjelaskan jangan terlalu buru-buru

[@mbem6725]

untuk schedulling liat pipeline pake apa ya?

[@upkoding]

Scheduling job pake Airflow

[@cupi-cubitpipi3523]

Pngn kerja di luar negeri, tp harus bisa bahasa Inggris 😢, apa bedanya flowchart dan UML bang?

[@upkoding]

Kalau ingin bekerja di luar negeri maka minimal bahasa inggris itu wajib, karena tanpa itu kita ga bisa kerja karena ga bisa komunikasi 🙂🙏 Flowchart sepertinya lebih banyak dipakai untuk menjelaskan proses atau algoritma sebuah proses dan scopenya lebih banyak di programming. Klo uml lebih umum bisa dipakai untuk penjelaskan hal yg bukan programming pun, bisa bisnis, bisa jalur sebuah proses dll dan banyak jenisnya tp bisa dijelaskan dengan bahasa atau simbol umum yaitu UML (Unified Modeling Language).

[@cupi-cubitpipi3523]

@@upkoding wah inspiratif sekali terimakasih atas infonya bli, saya ingin belajar semangat lagi deh😊🙏🏼

[@msaif1878]

bli, tau coding dari siapa ??? kan 2010 masih jarang orang yang tau ..hehe maaf kepo

[@upkoding]

Belajar sendiri aja, 2010 itu saya udah freelance, jadi belajarnya jauh sebelum itu 🙏

[@muhammadyazidbaihaqi6250]

bang, kalo hadoop msih relevan gak? dikampus saya belajar nya hadoop

[@upkoding]

Kalau diajarin ya di simak saja sebaik mungkin, karena hadoop masih menjadi dasar tool-tool big data saat ini. Saya bisa pake Apache Spark yang merupakan salah satu bagian dari ekosistem Hadoop, tetapi saya malah ga tahu seperti itu Hadoop 🙂 jadi kalau dapat pelajarannya bagus itu.

[@asasintechnofani4816]

Apakah harus dari staf IT dulu kalau mau masuk ke data engineering

[@upkoding]

Kalau punya skill yg dibutuhkan atau mau mempelajari skill yg dibutuhkan siapa aja bisa masuk ke bidang itu.

[@gerrytaruna9275]

bli buatin roadmap data engginer dong

[@upkoding]

Kalau menurut saya, kuasai programming dulu --> SQL / Database --> data manipulation (pandas) --> kalau diperlukan belajar tool2 diatas dan tidak pernah berhenti belajar 🙂🙏

[@cseptian]

bang mau nanya, kalo data engineer emang ngodingnya ngapain ? ada contohnya ga bang?

[@upkoding]

memanage infrastrukur data, atau coding data pipeline dengan Airflow misalkan.

[@cseptian]

@@upkoding memanage infrastruktur data itu maksudnya apa bang? ada contoh ga bang? soalnya yang baru saya pelajarin baru konsep ETL aja bang...

[@djamier9334]

@@upkoding bli pernah nerapin mekanisme ETL di airflow engga?kalau iya apakah transformasinya complex atau tidak?

[@upkoding]

@@djamier9334 Pakai Airflow untuk composing atau scheduling job saja, jangan pakai untuk memproses data yang berat-berat. Karena dia bukan (big) data processing tools, untuk heavy jobnya kasi ke tool yg memang ditujukan untuk itu seperti Spark/Beam dll. tetapi schedule eksekusinya pake Airflow.

[@kirenewardaini]

Bang . Bikin tutorial cara"nya bagaimana ...

[@upkoding]

Itu topiknya besar, saya ga tahu harus mulai darimana 🙂

[@desadigitalnusantara2967]

apache hadoop gimana bang ?

[@upkoding]

Kayaknya sudah tidak banyak terdengar dan dipakai lagi. Kalau saya sendiri tidak pernah pakai, jadi saya kebetulan pakai stack2 yang keluar setelah hadoop.

[@ahmadzuhdi9450]

untuk tool buat big data engineer, bisa langsung ke menit 08:50 teman2.

[@upkoding]

Toolnya banyak, cuma itu kebetulan yg saya pake saat ini.

[@shuhahih7206]

bang eka mau tanya, kalo jurusan kuliah yang nanti kerjanya sebagai data engineer itu apa aja si bang??? semoga di jawab🙏😊

[@upkoding]

Ilmu komputer kayaknya, nanti kalau sudah ada basic programing dan cukup pengalaman bisa belajar data engineering.

[@alazwahijab8881]

Mas pke kalung apa ya kok gue suka liat modelnya klap klip

[@upkoding]

Perak biasa bos, saya ga begitu suka yg blink-blink sebenarnya, itu dikasi orang terdekat dan harus dipakai :)

[@HEY_WAKE_UP]

bang make IDE apa untuk python ?

[@upkoding]

Klo saya sendiri pake VScode aja udh cukup 🙂

[@sugengriyadi2489]

Artikulasi

[@sugarachanel945]

bang kalau aku mau mendalami big data aku harus mulai dari mana?

[@upkoding]

Mulai dari pahami Big data itu sebenarnya seperti apa, apa problem2 di big data dan apa tools2 yg biasa digunakan di big data. Dan praktek, kalau ndak praktek ndak bisa. Masalahnya kalau ga ketemu problem nyata dilapangan ya ga bisa dipraktekkin, atau berusaha dapatin role di bidang data dan belajar disana, itu yg paling bagus. Kalau cuma pengen dapat title data engineer tp tidak pernah praktek ya susah, sama juga dengan title game developer kalau ga pernah bikin game ya ga bisa.

[@sugarachanel945]

@@upkoding saya sekarang sudah di level belajar big data. Kalau perancangan sudah bisa cuman prakteknya ngk ngerti

[@JS-gf5xp]

Setelah html, css, javascript, boleh gk bang sy lanjut pelajari phyton/phyton dn sql/database untuk menuju data engineer ? Trus kalau menuju data engineer bahasanya pake php atau phyton, bang ?

[@upkoding]

Klo saya banyakan pake Python sih 🙂 sql juga harus kuat.

[@JS-gf5xp]

Ok bang, trimakasih 🙏🙏🙏

[@nolep5555]

kalau javascript bisa dipakai untuk bidang data gak bli?

[@upkoding]

Bahasa apa aja bisa, tp ekosistem data itu banyak berbasiskan Python atau Java untuk saat ini.

[@henricdhiki9668]

Buat tutorial belajar Python kak..🙏😊

[@upkoding]

Udah banyak banget klo tutor Python, coba cek di kelas terbuka ya 🙏

[@anugrahsandirizqi7740]

Kalau untuk unstructure dataa ada contohnya pakai apaa bli??

[@upkoding]

Maksudnya mengolah unstructured data? Kedua tool2 itu (spark, beam) bisa kok, tapi sebelum diolah kan kita harus parse/convert dulu datanya menjadi structured baru setelah itu kita bisa proses di step berikutnya.

[@anugrahsandirizqi7740]

@@upkoding misalnya data picture, suara, text, sebelum masuk di modelkan di ML biasanya diolah dulu, skarang data2 ini ukurannya gede2... lg nyari yg tools yg bisa ngolah contoh kayak citra satelit ukuran besar yg bisa paralell computing...

[@upkoding]

@@anugrahsandirizqi7740 Iya sepertinya si Spark itu bisa, dia bisa load image, ketika sudah di load terserah nanti mau diapain apakah langsung disimpan atau langsung diproses. Spark juga punya module untuk ML meskipun terbatas jadi kita bisa manfaatin itu atau simpan ke storage sebelum diolah lagi. Kayak gini contohnya dengan image: towardsdatascience.com/image-segmentation-on-apache-spark-46164dd53c73

[@anugrahsandirizqi7740]

@@upkoding wahh mantepp.. makasik blii cobaa tak pelajari lebib lanjut inii

[@muhammadrifkibachtiar5354]

bahasa inggris harus ga om ? untuk jadj data engineer ?

[@upkoding]

Dalam bidang IT, bisa bahasa inggris itu sangat membantu dalam proses belajar. Apalagi data engineer, bidang yang cukup luas, banyak istilah dan konsep yang harus di pahami dan dikuasai.

[@Wiji920]

Bang playlist go lang ny kmn bang

[@upkoding]

haha maaf saya tidak punya 🙏 coba cek channelnya Programmer Zaman Now untu golang.

[@farhansetiawan8612]

Bangg tolong jangan cepet² bicaranya🙏😭

[@hurriyahalifi4850]

bang aku mau les coding dong bang

[@upkoding]

Kebetulan saya ga buka les. Kan banyak tu online course tinggal pilih, saya lewat gitu aja bisanya kalau belajar 🙂

[@alvinuscardova9407]

Bang tamat kuliah boleh saya kerja ikut Abang?

[@upkoding]

Yang penting berskill jangan takut untuk tidak mendapatkan pekerjaan 🙏 kalau bisa bikin pekerjaan untuk kita dan orang lain 💪

[@jackdhita6872]

bli eka, ada instagram account?

[@upkoding]

Ada tapi saya jarang posting dan ga pernah posting tentang coding2an 🙂🙏

[@tonitono10]

Bang ijin bertanya Apakah di perusahaan abang ada posisi data scientist nya? Apakah data engineer harus bisa statistik dan matematika diskrit ? Apakah data engineer cocok untuk orang pemula yg baru mulai berkecimpung di dunia IT (dibanding dengan web/software engineer) ? Makasih bg respon nya

[@upkoding]

Data engineer juga programmer, jadi wajib tahu programming, apakah harus tahu statistik? Bagus kalau bisa, kalau tidak juga tidak apa2 kan kita buat sistem, buat infrastruktur untuk data bukan menganalisa data, itu sudah ada yang handle. Apakah yg pemula itu sudah bisa coding? Sudah ngerti database, ngerti bagaimana sistem itu terkoneksi? Berani belajar dan mendalami sendiri? Berarti bisa. Kalau belum, maka perlu belajar lagi hal2 tersebut.

[@romy_hb1909]

kurang jelas bhs vocabularisnya

[@rizky_tegar]

gak pake trello ya ?

[@upkoding]

Pake Github project aja untuk saat ini biar deket sama source code 🙂

[@alifakbari9829]

Halo bli maaf baru nonton 🤣

[@upkoding]

Wkwk bukan pertamax lagi ya 🙂🙏

[@ahyaniahmad7085]

Mau tanya ini aplikasinya apa? Terus prabayar apa tidak bang

[@upkoding]

Semua aplikasi yang saya pakai adalah opensource, jadi bisa dipakai dan dicoba gratis. Tetapi menjalankannya di skala perusahaan pastinya perlu infrastruktur cloud seperti GCP atau AWS.

[@bernardsan2204]

ngomongnya cpt banget wkwk

[@upkoding]

Turunin speed playback 50% gan 🙂