NLP - Bagaimana AI Bisa Generate Kalimat Yang Bervariasi (Greedy vs Multinomial Sampling)

[@brianadityahermansyah4646]

mantap kak wira, next bahas arsitektur Transformer itu kak, nanti bisa lanjut bahas LLM 😅

[@Zippnix]

Konten daging semangat terus ya kak🎉🎉🎉

[@JCOpUntukIndonesia]

Thank you 🙏

[@ronihalim]

mantap mas wira, ditunggu terus videonya

[@srikresna37]

Kak wira kalau boleh bahas machine learning end to end dong, dikit banget yg jelasin gimana ml engineer bekerja. Kebanyakann bahas hal-hal basic huhuhu bingung cari yg jelasinn hal hall yg lebii lanjutt. Keluarkan aku dari ke mediocre an inii hahaha

[@JCOpUntukIndonesia]

Yang di course dasar kan sudah end-to-end tuh, dari data, ke model, sampai jadi API. Walau itu saya ajarkan nya 5 tahun lalu, alur kerjanya sama dan tidak ada yang berubah kok. Paling beda sedikit di tools, misal dari yang pakai flask, ganti jadi pakai fastapi. Kalau ML engineering sedikit berbeda, itu lebih ke software engineering daripada ML nya. Jadi kalau mau belajar basic software engineering, bisa mulai dari kata kunci "software engineering with python", atau saran saya langsung terjun ke backend dulu dengan python. Saya paling banyak belajar software engineering saat ditugaskan jadi backend developer di perusahaan. Tidak bisa end-to-end bukan berarti mediocre, di perusahaan nanti kita akan bekerja sama dengan berbagai anggota tim. Tidak baik juga ketika kamu mengambil tanggung jawab orang lain untuk ke-egoisan diri sendiri agar "tidak mediocre". Berlaku sebaliknya juga, yang bisa end-to-end juga bukan berarti jago dan "tidak mediocre". Tools itu kan sudah banyak membantu, melakukan end-to-end itu bukan hal yang sulit gimana sampai kita disebut "tidak mediocre" Apalagi sekarang sudah tersedia API-API hingga backend dev tinggal gunakan tersebut sudah bisa jadi aplikasi, tanpa mesti paham end-to-end nya. Oleh sebab itu, bagi yang mendalami bidang ML, saran saya ya kuasai di data dan permodelannya, dan secukupnya bisa menyediakan API untuk itu. Sampai sana dulu dikuasai, nanti setelahnya mau belajar keilmuan nya backend ya kapan saja kan bisa. Itu tradeoff, mau horizontal atau vertikal, mau umum atau spesialis. Keduanya sama baiknya, dan keduanya "tidak mediocre".

[@XiaomibatamIndonesia]

Mas sharing materi optimizer deep learning

[@JCOpUntukIndonesia]

Perhitungan dan teori nya gitu? boleh, saya catat dulu

[@XiaomibatamIndonesia]

@@JCOpUntukIndonesia iya mas.. Terutama tentang optimizer Adam dan RMSProp

[@JCOpUntukIndonesia]

@@XiaomibatamIndonesia siaaap

[@m.rasyid767]

Mantap kak videonya, sangat bermanfaat. Izin kak, kakak sharing tentang Liquid Neural Network donk Kak untuk penggunaan data time series pada sinyal EKG, seperti prediksi jenis penyakit pada aritmia menggunakan database MITBIH. Please Kak!!. Semoga sehat selalu kak.

[@Edukasi-Islam]

Mas Wira. request bahas tentang Clinical NER. soalnya saya lagi mempelajari itu. 🙏🙏🙏🙏🙏

[@yohannesalexanderagustisin9697]

buat video LLM RAG mas wira

[@iNTERnazionaleNotizia589]

Master Wira, sekarang fokus bikin tutorial NLP ya? Apakah nanti akan ada rencana lagi untuk melanjutkan tutorial di Bidang Computer Vision , khususnya Image Segmentation, Object Detection?

[@JCOpUntukIndonesia]

Hahaha jangan dipanggil master atuh. Tidak sih, ini masih bagian dari materi yang idul fitri, jadi bukan course lengkap NLP juga. Setelah ini baru kita buat video yang tema Computer Vision ya. Sementara memang buat video-video yang lebih pendek dulu karena belum sempat kalau untuk buat course yang komprehensif.

[@Tohooo31]

saya bisa hubungin mas ga?, saya mau belajar langsung soal content based filtering. tolong direspon ya mas😁

[@JCOpUntukIndonesia]

Silahkan ikuti instruksi di youtube.com/@jcopuntukindonesia/about

[@yogidwitama2480]

Lets go buat playlistnya

[@windiazmy6856]

Kak aku mau buat virtual try on untuk tugas kelompok bootcamp tim. Aku udh liat2 di internet itu kayanya pake tensorfliw ya kak? Fyi, Background aku frontend dan aku sama sekali ga ada pengetahuan dasar tentang ai dan machine learning kak. Kira2 aku perlu belajar dari playlist atau video yg mana kak biar aku bisa bikin fitur virtual try on ?

[@JCOpUntukIndonesia]

kalau FE ya bertugas di sisi FE nya Mesti belajar bagaimana connect ke camera atau upload media untuk dapat foto dari user. Kemudian bagaimana mengirimkan media ke BE karena model try-on nya ada di sisi BE. lalu bagaimana menampilkan respon nya kembali di layar. Course saya tidak mengajarkan tentang FE, jadi tidak ada videonya tentang itu

[@windiazmy6856]

​@@JCOpUntukIndonesia kak, maksudku itu aku punya pengalaman di FE tapi ga punya pengalaman di ML. jadi aku mau nanya apa yang perlu dipelajari terkait pemrosesan gambar di sisi Back-End untuk virtual try-on? Apakah harus menguasai deep learning, computer vision, atau teknik-teknik tertentu ?

[@JCOpUntukIndonesia]

@@windiazmy6856 Oh maaf, saya pikir itu karena tugas kelompok, maka ada pembagian role gitu dan Windi jadi FE di tim nya. Tergantung sejauh mana Virtual Try-On nya mau di develop sih, dari yang cuman "tempel pakaian", ganti-ganti warna, atau sampai yang benar-benar lumayan realistis aksesori / pakaian nya dipakai. Approach nya juga banyak dan berbeda-beda, tapi yang pasti butuh pemahaman terkait Computer Vision dan Deep Learning. Secara umum, Computer Vision nya perlu pose estimation, dan segmentation. Deep Learning nya tentu semua yang berkaitan dengan vision. Kalau belum ada pengalaman di itu semua sih, terlalu sulit ya untuk di develop, maka yang Windi bisa lakukan palingan pakai model yang sudah jadi, dan itu ya tinggal cari-cari saja yang ada share di github. atau misal pakai produk-produk GenAI yang tinggal hit API, itu juga bisa di zaman sekarang.

[@mufidakhbar5344]

izin mau nanya mas wir, (1) kalau kita pakai ''Greddy Sampling" dia bakal generate hanya 1 ucapan (karena dia ambil probabilty yang paling tinggi). [Pertanyaan saya]: Kalau di "Greddy Sampling" hanya 1 yang dia bisa generate. Kalau di "Multinomial Sampling" kita bisa tau ga ya mas berapa total ucapan yang bisa dia generate? soalnya ini kan sangat random pengambilan vocab setelahnya. (2) yang saya lihat ditabel "candidate dan probability" hanya menggunakan 1 vocab untuk mengambil "1 vocab selanjutnya" [Pertanyaan saya]: apakah bisa memperhitungkan seperti n_gram agar kita bisa lebih tau konteks seperti kalau ada kata 'minal' pasti kebanyakan ketemunya 'aidin' jadi nya kita bisa memperhitungkan konteks yang lebih bermakna [Menurut Saya]: kelemahan 'multinomial sampling' ini kan karena dia random memilihnya, jadinya ada vocab yang dia ambil dengan acak (walaupun ada probabilty nya) tetapi kita sebagai manusia tau jika kata itu di pakai tidak ada makna nya (artinya kalimat yang dihasilkannya akan jelek).

[@JCOpUntukIndonesia]

1. Secara teori ya tak hingga ya, tapi ada yang probanya kecil banget untuk muncul. 2. Tidak butuh n-gram, karena kita sudah pakai model yang memahami konteks kata-kata sebelumnya. Di contoh kali ini kita pakai GRU (varian RNN) yang konteks nya dibawa dengan memory (h0) sehingga itu prediksi probabilitas nya bukan hanya melihat 1 vocab saja, tapi 1 vocab + konteks. Jadi bukan `aidin` prediksi `wal`, tapi `aidin` + konteks (kata-kata sebelumnya) untuk prediksi `wal` [tentang kelemahan] tidak random karena ada bobot, ketika ada yang hasilnya jelek atau aneh, itu biasa cuman karena kekurangan dari sisi data atau modelnya saja, bukan karena multinomial sampling. Ketika datanya lumayan banyak, dan misal kita menggunakan model yang lebih besar, hampir mustahil muncul susunan kata yang terbaca aneh oleh manusia, kecuali dataset kita bukan dari manusia (dataset sintetis yang ga berkualitas). Belum lagi nanti kita akan lanjut bahas beam search, itu semakin mengurangi kelemahan ini. Semoga menjawab 🙏

[@aryabintang7096]

anjay vituber

[@JCOpUntukIndonesia]

Hahaha, debut 4 tahun lalu

[@zenkacreator8741]

kaka nya buka kursus kah ?

[@JCOpUntukIndonesia]

Saya sudah tidak mengajar lagi di tempat lama. Sekarang saya hanya mengajar bila diundang atau dihubungi secara personal. Boleh coba ikuti instruksi di kzbin.infoabout