Tutorial Web Scraping Lowongan Kerja Data Science Linkedin dengan Python | Code Explained

Oleh-oleh tutorial sebelum Lebaran bagi yang ingin belajar bagaimana caranya scraping lowongan kerja di linkedin. Males kan, kalo liat satu-satu? Mending kita scrap aja 😎 Quite a lengthy video this time. Have a blast Eid with your beloved ones!
-timestamp-
00:00 Intro
01:46 Tutorial Reference & Pre-requisite
05:38 Web Page Structure and how to find web element
08:21 Opening Browser & Scroll Job Listing explained
16:50 Get Job Title, Company, Location, Date Posted, Description, etc. (main attributes) explained
27:44 Some ideas for Python project :)
29:59 Create Pandas Data Frame from the result & exporting to excel (Output)
34:05 Outro
Apabila merasa konten saya membantu dan ingin mentraktir telor gulung, feel free to hit it up trakteer.id/mirablackbox
Link to code : github.com/mirahmani/linkedin...
#belajarpython #datascience #businessintelligence #tutorialpython #pythonprojectforbeginners

[@w-jamesmoriarty]

puyeng banget liatnya kak 😂😂 tapi seru juga

[@kevinkurnia2259]

makasih

[@kazunosekaia]

Hallo kak Mira, salam kenal... Ka, tolong dunk ada video khusus utk membahas bagian "Get Main Attributes of each Job Listing", bagian ini sy masih bingung sekali soalnya, dan biar gampang utk eksplorasi kedepannya.. Thx anyway..

[@dian_sp992]

Tutor sql kak next yaaa

[@MirasBlackbox]

Sudah aku siapkan walaupun gak di minggu ini. Stay tuned yaa :D

[@15_dimasrahmanda98]

halo kak, salam kenal. untuk link traktir telor gulungnya masih aktif kan ya?

[@sheilahasina9738]

Maaf kak ini kalo error di bagian line 17 job_click itu kenapa ya? tag htmlnya berubah kah?

[@dwiindahandriyani-tl6ur]

pake google collab bisa ga kak?

[@masbroopek1084]

hal yng paling menyebalikan ketika scraping terkandang untuk scraping web ip sering kali kena block 😀

[@MirasBlackbox]

Benarr. Sebetulnya paling enak emang pake API. Yang susah kalo ngga available untuk public.

[@ummirahmawati1382]

@@MirasBlackbox kalo web yang pake user dan password brti gabisa ya kak kalo ga pake API?

[@oscarmartuasinaga5208]

permisi kak, apakah scraping lowongan perkerjaan legal dilakukan di Linkedin, maupun online jobmarket lainnya?

[@MirasBlackbox]

Ya, selama datanya itu publicly available.

[@muhamadjaya4468]

Baru mau nyoba belajar web scraping tapi library yg bisa dipakai ada banyak banget... selain selenium ini ada juga scrapy, beautifulsoup, dll. jadi bingung harus pake yg mana. 🙃

[@MirasBlackbox]

Yang mana aja boleh kok sebenernya. Ini cuma salah satu cara.

[@muhamadjaya4468]

@@MirasBlackbox Kalau untuk mengambil data dari artikel berita yang ada di website kompas dalam kurun waktu selama satu tahun kira2 bisa ga ya kak? dan lebih baik pakai library yg mana? Aku mau nyoba bikin dataset

[@MirasBlackbox]

@@muhamadjaya4468 aku belum pernah pakai scrapy, tapi pernah baca ada yang nulis kalau data yg mau di scrap banyak, scrapy lebih efisien. Karena selenium itu aslinya diperuntukkan buat browser automation, not specifically untuk scraping. Bisa dilihat disini www.accordbox.com/blog/web-scraping-framework-review-scrapy-vs-selenium/#talk-about-scrapy

[@muhamadjaya4468]

@@MirasBlackbox Okee makasi banyak kak infonya, aku mau nyoba dulu

[@dendihndn]

saya kira ini channel nya Coder Coder

[@MirasBlackbox]

Bukan 🤣

[@muhammadghufron976]

kak, bagi IG dong, buat mantau konten updatenya

[@koharudinipb7051]

Halo Kak mira semoga sehat selalu, kak saya mau tanya, kebetulan saya mempunyai projek yg mirip dgn kakak dan saya ikutin tutorial kakka, tpi saya ada kendala ketika melakukan scraping data, khususnya di kodingan bagian ke 4 dgn peringatan sprti ini kak --------------------------------------------------------------------------- ElementClickInterceptedException Traceback (most recent call last) Input In [4], in () 14 job_click_path = f'/html/body/div[1]/div/main/section[2]/ul/li[{item+1}]/div/a' 16 print(job_click_path) ---> 17 job_click = job.find_element(By.XPATH,job_click_path).click() 18 time.sleep(3) 19 try: File c:\users\sudrajat\appdata\local\programs\python\python38\lib\site-packages\selenium\webdriver emote\webelement.py:89, in WebElement.click(self) 87 def click(self) -> None: 88 """Clicks the element.""" ---> 89 self._execute(Command.CLICK_ELEMENT)

[@koharudinipb7051]

Kira2 ini kenapa ya kak dn bagaimana solusinya?

[@MirasBlackbox]

Aku belum check lagi, tapi karena kelemahan scraping itu elemen web nya gampang berubah dari sumbernya, jd harus sering dicheck. Kemungkinan ada yg berubah.