Apa itu Web Scraping? | Sigit Dewanto | Python Developer | Scrapinghub

[@boodlebsd]

Terimakasih sekali. Bagus sekali cerita dr Mas Sigit Dewanto, dan pancingan2 Mas Budi. Membuka wawasan bahwa ada lapangan pekerjaan lain untuk web programmer :-). Apakah berarti kita harus berhati2 dalam menyimpan secret keys, passwords API dan database yg digunakan di web portal kita supaya nggak ke crawler?

[@belajaridn]

Sama-sama, semoga sesi ini bisa bermanfaat. Untuk proteksi terhadap bot, kita perlu menerapkan anti bot protection; salah satunya dengan recapcha :)

[@sigitdewanto6702]

Sama2. Kalau penyimpanan secret keys/password biasanya diset sebagai environment variables dan tidak disimpan dalam file dev.to/biplov/handling-passwords-and-secret-keys-using-environment-variables-2ei0

[@boodlebsd]

@@sigitdewanto6702 Terimakasih linknya. Kl gitu makin mantap pakai .env sj. Saya add di LinkedIn ya Mas.

[@boodlebsd]

@@belajaridn Mantap, tepat banget waktunya. Terimakasih sekali lg. Semakin sukses sesi podcastnya.

[@indrapurna532]

Menarik banget isi podcast nya bang, terimakasih banyak, semoga sehat selalu dan sebarkan terus ilmu yang bermanfaat bang 🙏

[@belajaridn]

Banyak informasi berharga yang dibagikan oleh Mas Sigit di sesi ini :)

[@hady7152]

asyiik sekali Mas diskusinya... salam kenal Mas Budi

[@belajaridn]

Semoga bermanfaat ya sesi bincang2 ini ☺️☕🙏

[@DimasSadiman]

Sangat bermanfaat... 👍👍

[@belajaridn]

Banyak insight menarik yang disampaikan oleh Mas Sigit dalam sesi ini 😊☕

[@SuwandaKurnia]

ini nih bg, aku lagi butuh banget metode iniiii makasih bang 😊 alhamdulillah

[@belajaridn]

Syukurlah, bisa pass banget ya :)

[@SuwandaKurnia]

@@belajaridn iyaa bg, aku lagi butuh metode utk ngambil data website gitu bg... metode yg aku temui itu baru ngambil data melalui web service atau web API nya website itu kak

[@SuwandaKurnia]

eh bg, wkwk

[@belajaridn]

Ingat pesan Mas Sigit ya, polite scraping dan jangan excessive scraping :)

[@SuwandaKurnia]

@@belajaridn okee bang, siapp.. makasih bg

[@gianshugie]

Mau tanya mas, kalo untuk programmer pemula bagus nya cari kerja on-site atau freelance/remote ? Minta arahan road map nya

[@cintarasuryaelidanto1942]

Wah mantep, auto nonton ^_^

[@belajaridn]

Semoga bisa dinikmati dan memberikan manfaat :)

[@hady7152]

kalau boleh tahu web browser yang tidak mempunyai GUI bisa didownload dimana ya? mungkin Mas Budi ada refrensi Terimakasih Mas Budi atas info dan ilmunya

[@caareystore4858]

Ada phantom JS bikinan mas ariya hidayat setauku

[@MuhamadFuad]

bang, next podcast boleh how to become QA manual/automations gak :D

[@belajaridn]

Topik QA belum pernah dibahas di sesi podcast Indonesia Belajar. Nanti kami akan carikan narasumber yang memiliki keahlian di bidang ini ya :)

[@MuhamadFuad]

@@belajaridn sip makasih bang XD

[@sosrobahu2485]

Yg ngisi pycon id kemarin bukan ya ini?

[@belajaridn]

Betul, mas Sigit pernah menjadi pembicara di PyconID 2019 dan menjadi moderator di PyconID 2020 :)

[@bimagv]

Saya mau melakukan web scrapping, untuk mencari bahan contekan dari suatu website saat lagi di Ubuntu Server. Ada tool yang sekiranya bagus untuk saya korek-korek tidak mas budi?

[@belajaridn]

Sudah pernah coba Scrapy atau BeautifulSoup?

[@bimagv]

@@belajaridn Terimakasih mas budi sarannya saya lagi coba, tapi belum eksplorasi lebih lanjut, saat ini masih memakai gitlab.com/gardenappl/readability-cli untuk mendapatkan artikel via CLI.

[@belajaridn]

@@bimagv Terus semangat mas dalam bereksplorasi :)

[@cangguk10]

Bagus materinya, saya ingin belajar lebih jauh lagi mengenai scrapinghub, dimana saya harus belajar dengan mas Sigit, mungkin ada CP atau fan pagenya? Trimksh

[@belajaridn]

Tamu kita kali ini memang sudah 7 tahun berpengalaman secara profesional dalam bidang web scraping. Mantap memang Mas Sigit ini.

[@kunying4037]

Sukses selalu bang

[@belajaridn]

Sesi podcast ini rilis di Hari Senin pukul 10 pagi :)

[@kunying4037]

@@belajaridn okee😁

[@belajaridn]

Gimana sesinya? Semoga bermanfaat ya :)

[@kunying4037]

@@belajaridn sangat menginspirasi bang, mantap :)

[@sosrobahu2485]

Scraping berantem sama perimeter x baru puyeng 😁

[@belajaridn]

LoL, makanya solusi untuk common problems dalam scraping gak dibahas dalam sesi podcast ini :)

[@endremurti]

untuk stalking email address bisa ya gan?

[@belajaridn]

Lebih tepatnya untuk scrape data email addresses dari halaman web secara otomatis 😊

[@endremurti]

@@belajaridn nah penting skali brti ya om, bkin tutor nya dong hehe

[@belajaridn]

@@endremurti kebetulan saat ini kami sedang berfokus pada materi terkait Machine Learning :)

[@endremurti]

@@belajaridn wah keren apakah ada kontak mas atau forum tertentu ? sy ingin ikutan terlibat hehe sy jg pngn bljr big data untuk marketing

[@belajaridn]

Bisa bergabung dengan komunitas Python ID mas. Biasa aktif di group Telegram :)

[@rexosjr4230]

print("keren bang")

[@belajaridn]

Mas Sigit banyak berbagi informasi berharga di sesi podcast ini :)

[@elissilviani6775]

Bedanya scraper sama crawler apa yaa?

[@binixsinematografi]

Scraper untuk mengambil data spesifik dari satu website, sedangkan Crawler untuk menjelajahi dan mengambil data dari berbagai halaman website.

[@ekosetiawan_indo]

keropi

[@belajaridn]

He3... iya keroppi :D