Apa itu Web Scraping? | Sigit Dewanto | Python Developer | Scrapinghub

Apa itu Web Scraping? Apa itu Scrapinghub?
Dalam sesi bincang-bincang kali ini, kita kedatangan tamu istimewa yaitu Mas Sigit Dewanto. Mas Sigit adalah seorang Python Developer untuk Scrapinghub. Beliau juga terbilang aktif di komunitas Python dan saat ini Mas Sigit adalah community lead untuk komunitas Python Jogja.
Nah dalam sesi podcast kali ini, Mas Sigit akan berbagi banyak informasi menarik seputar web scraping.
Berikut adalah topik bahasan yang diangkat dalam sesi podcast ini:
00:00 - Intro
01:23 - Apa itu web scraping?
03:31 - Pemanfaatan data hasil web scraping
06:50 - Awal mula terjun di bidang web scraping
12:14 - Apa itu Scrapinghub?
15:17 - Web scraping project yang berkesan
17:41 - Tools dan bahasa pemrograman yang umum digunakan dalam web scraping
23:11 - Tantangan dan kendala dalam web scraping
27:44 - Tips menghadapi perubahan layout pada halaman web
30:41 - Implementasi cloud computing dalam web scraping
33:33 - Pertumbuhan akan tenaga ahli dalam bidang web scraping
35:23 - Persiapan untuk mulai terjun di bidang web scraping
40:31 - Aspek legalitas dan etika dalam web scraping
49:52 - Closing statement
Reach-out Sigit Dewanto:
- Linkedin: / sigitdewanto
- Twitter: / seagatesoft
- Github: github.com/sea...
- Wordpress: seagatesoft.wo...
- Kisah bergabung bersama Scrapinghub: seagatesoft.wo...
Oh ya teman-teman, channel KZbin Indonesia Belajar juga memiliki Discord server, silakan teman-teman untuk bergaubung: / discord
Links terkait:
- Buku "Web Data Mining": www.amazon.com...
- Scrapinghub: www.scrapinghu...
- Scrapy: scrapy.org/
- Splash Headless Web Browser: splash.readthe...
- Telegram Komunitas Python Jogja: t.me/pyjogja
Keywords:
- Sigit Dewanto
- Web Scraping
- Web Data Extraction
- Scrapinghub
- Legalitas Web Scraping
- Etika Web Scraping
- Python Developer
- Komunitas Python Jogja
#SigitDewanto #WebScraping #Scrapinghub

[@boodlebsd]

Terimakasih sekali. Bagus sekali cerita dr Mas Sigit Dewanto, dan pancingan2 Mas Budi. Membuka wawasan bahwa ada lapangan pekerjaan lain untuk web programmer :-). Apakah berarti kita harus berhati2 dalam menyimpan secret keys, passwords API dan database yg digunakan di web portal kita supaya nggak ke crawler?

[@belajaridn]

Sama-sama, semoga sesi ini bisa bermanfaat. Untuk proteksi terhadap bot, kita perlu menerapkan anti bot protection; salah satunya dengan recapcha :)

[@sigitdewanto6702]

Sama2. Kalau penyimpanan secret keys/password biasanya diset sebagai environment variables dan tidak disimpan dalam file dev.to/biplov/handling-passwords-and-secret-keys-using-environment-variables-2ei0

[@boodlebsd]

@@sigitdewanto6702 Terimakasih linknya. Kl gitu makin mantap pakai .env sj. Saya add di LinkedIn ya Mas.

[@boodlebsd]

@@belajaridn Mantap, tepat banget waktunya. Terimakasih sekali lg. Semakin sukses sesi podcastnya.

[@indrapurna532]

Menarik banget isi podcast nya bang, terimakasih banyak, semoga sehat selalu dan sebarkan terus ilmu yang bermanfaat bang 🙏

[@belajaridn]

Banyak informasi berharga yang dibagikan oleh Mas Sigit di sesi ini :)

[@DimasSadiman]

Sangat bermanfaat... 👍👍

[@belajaridn]

Banyak insight menarik yang disampaikan oleh Mas Sigit dalam sesi ini 😊☕

[@hady7152]

asyiik sekali Mas diskusinya... salam kenal Mas Budi

[@belajaridn]

Semoga bermanfaat ya sesi bincang2 ini ☺️☕🙏

[@cintarasuryaelidanto1942]

Wah mantep, auto nonton ^_^

[@belajaridn]

Semoga bisa dinikmati dan memberikan manfaat :)

[@SuwandaKurnia]

ini nih bg, aku lagi butuh banget metode iniiii makasih bang 😊 alhamdulillah

[@belajaridn]

Syukurlah, bisa pass banget ya :)

[@SuwandaKurnia]

@@belajaridn iyaa bg, aku lagi butuh metode utk ngambil data website gitu bg... metode yg aku temui itu baru ngambil data melalui web service atau web API nya website itu kak

[@SuwandaKurnia]

eh bg, wkwk

[@belajaridn]

Ingat pesan Mas Sigit ya, polite scraping dan jangan excessive scraping :)

[@SuwandaKurnia]

@@belajaridn okee bang, siapp.. makasih bg

[@kunying4037]

Sukses selalu bang

[@belajaridn]

Sesi podcast ini rilis di Hari Senin pukul 10 pagi :)

[@kunying4037]

@@belajaridn okee😁

[@belajaridn]

Gimana sesinya? Semoga bermanfaat ya :)

[@kunying4037]

@@belajaridn sangat menginspirasi bang, mantap :)

[@MuhamadFuad]

bang, next podcast boleh how to become QA manual/automations gak :D

[@belajaridn]

Topik QA belum pernah dibahas di sesi podcast Indonesia Belajar. Nanti kami akan carikan narasumber yang memiliki keahlian di bidang ini ya :)

[@MuhamadFuad]

@@belajaridn sip makasih bang XD

[@gianshugie]

Mau tanya mas, kalo untuk programmer pemula bagus nya cari kerja on-site atau freelance/remote ? Minta arahan road map nya

[@sosrobahu2485]

Yg ngisi pycon id kemarin bukan ya ini?

[@belajaridn]

Betul, mas Sigit pernah menjadi pembicara di PyconID 2019 dan menjadi moderator di PyconID 2020 :)

[@hady7152]

kalau boleh tahu web browser yang tidak mempunyai GUI bisa didownload dimana ya? mungkin Mas Budi ada refrensi Terimakasih Mas Budi atas info dan ilmunya

[@caareystore4858]

Ada phantom JS bikinan mas ariya hidayat setauku

[@bimagv]

Saya mau melakukan web scrapping, untuk mencari bahan contekan dari suatu website saat lagi di Ubuntu Server. Ada tool yang sekiranya bagus untuk saya korek-korek tidak mas budi?

[@belajaridn]

Sudah pernah coba Scrapy atau BeautifulSoup?

[@bimagv]

@@belajaridn Terimakasih mas budi sarannya saya lagi coba, tapi belum eksplorasi lebih lanjut, saat ini masih memakai gitlab.com/gardenappl/readability-cli untuk mendapatkan artikel via CLI.

[@belajaridn]

@@bimagv Terus semangat mas dalam bereksplorasi :)

[@cangguk10]

Bagus materinya, saya ingin belajar lebih jauh lagi mengenai scrapinghub, dimana saya harus belajar dengan mas Sigit, mungkin ada CP atau fan pagenya? Trimksh

[@belajaridn]

Tamu kita kali ini memang sudah 7 tahun berpengalaman secara profesional dalam bidang web scraping. Mantap memang Mas Sigit ini.

[@sosrobahu2485]

Scraping berantem sama perimeter x baru puyeng 😁

[@belajaridn]

LoL, makanya solusi untuk common problems dalam scraping gak dibahas dalam sesi podcast ini :)

[@elissilviani6775]

Bedanya scraper sama crawler apa yaa?

[@binixsinematografi]

Scraper untuk mengambil data spesifik dari satu website, sedangkan Crawler untuk menjelajahi dan mengambil data dari berbagai halaman website.

[@rexosjr4230]

print("keren bang")

[@belajaridn]

Mas Sigit banyak berbagi informasi berharga di sesi podcast ini :)

[@endremurti]

untuk stalking email address bisa ya gan?

[@belajaridn]

Lebih tepatnya untuk scrape data email addresses dari halaman web secara otomatis 😊

[@endremurti]

@@belajaridn nah penting skali brti ya om, bkin tutor nya dong hehe

[@belajaridn]

@@endremurti kebetulan saat ini kami sedang berfokus pada materi terkait Machine Learning :)

[@endremurti]

@@belajaridn wah keren apakah ada kontak mas atau forum tertentu ? sy ingin ikutan terlibat hehe sy jg pngn bljr big data untuk marketing

[@belajaridn]

Bisa bergabung dengan komunitas Python ID mas. Biasa aktif di group Telegram :)

[@ekosetiawan_indo]

keropi

[@belajaridn]

He3... iya keroppi :D