【python】selenium 網頁自動化、網路爬蟲 ｜ 爬蟲 ｜ python 爬蟲 ｜ 自動化 ｜pycharm ｜

selenium
網頁自動化
網路爬蟲
python爬蟲
pycharm
⭐️ 目錄 ⭐️
⌨️ (0:00:00) 介紹
⌨️ (0:02:59) 環境設定
⌨️ (0:11:04) 取得網頁標籤
⌨️ (0:24:17) 常用網頁操作
⌨️ (0:28:57) Action Chains 自動玩網頁遊戲
⌨️ (0:45:48) 爬取ig關鍵字圖片
🔗課程檔案
chromedriver : sites.google.com/a/chromium.o...
project1 : github.com/hibyby/GrandmaCan_...
project2 : github.com/hibyby/GrandmaCan_...
✏️先修課程
python 初學者教學 : • 【python】4天初學者Python教學 ...
html 初學者教學 : • 【html】1小時初學者教學 #html #...
#爬蟲 #python爬蟲 #網路爬蟲 #自動化 #selenium

[@GrandmaCan]

✏最新課程-python、AI組合包 grandmacan.com/courses/yCC2Q8WFsc9Av52myZBh 即日起至2024/08/02前購買，即享36折優惠~

[@maoshenglong]

听了你的一些课，讲得很明白，希望能详细介绍一下组合包的内容，要学多久，老年人学了能运用上否

[@GrandmaCan]

@@maoshenglong 您好 组合包里面包括3个课程 ✅ 20天全面了解python ✅ 全面了解机器学习 ✅ 踹开新世界的大门 ⚡ 从打稳python根基->到利用python做机器学习->最后AI的应用 3门课程都是以实用为主 每堂课都有丰富的试看内容，可以先看看适不适合~ 希望能帮助到您，祝您学习愉快~

[@user-uv8ip1hg1o]

最近對爬蟲很有興趣，找了不少影片學習、入門～這部算是目前最淺顯易懂、言簡意賅的教學了。 從pip套件安裝，到explain、Coding，再到完成一個part後的review，每個細節都很用心在做演示！支持。

[@user-ny2dc5zr9q]

蠻清楚的解釋，感謝這部影片的作者，希望繼續產出相關內容謝謝

[@Jojojojo-py8ie]

超级强，这是我看过的最简单易懂的编程教程了！感谢博主！也希望能出 抓取网页数据后进行数据可视化分析

[@risc2010]

感謝小白，這個教學真的很棒，很實用，收獲很多，感謝。

[@user-kx6pv7jk1p]

太棒了 我很喜歡TSJ遊戲 這樣就不用一直幫J哥吹到讓我左鍵壞掉>< 已訂閱+按讚 太U質了

[@user-ip5yd4nd4v]

好實用的又淺顯易懂課程內容～～～！

[@user-ew5ny6ex5y]

老天鵝，講得超級好，淺顯易懂又有趣，太感謝了！

[@TheBlvision]

好有趣，謝謝你的分享與教學。

[@TheKen82815]

感謝提供程式碼，按照影片的解說可輕易配合個人用途修改~大感謝！

[@majenny3053]

非常實用，萬分感激

[@JoJoAllen]

為什麼這麼強拉 !!! 清晰明瞭到 我阿祖 都會了 !!!!!

[@yutangliao9277]

希望能拍更多有關python 應用的內容! 支持你!

[@fadeoutman]

很受用 謝謝詳細的教學

[@p3939889q]

很喜歡教學系列謝謝

[@user-qr5iy5vz2f]

這類影片真棒 竟然現在才看到

[@a2414205]

一聽就懂 教得很好 謝謝。 希望也可以出一個簡易GUI教學

[@ascafe13]

感謝您淺顯易懂的教學!

[@miffy30427]

想請問您有成功點開影片中 4:09 的連結嗎？ 我去網路上找了ChromeDriver的載點，但沒有符合我GoogleChrome版本的內容QQ (我版本是119.0.6045.160)

[@kislxhotmail]

同事三重德德超喜歡你的影片, 謝謝分享

[@xuan5213]

謝謝小白，新手無背景都可以聽的懂！

[@shiux5876]

通俗易懂，谢谢你！

[@user-fe9hw5rh5x]

建議可以在創建的資料夾後面放時間戳 這樣就不會衝突了 path_download = path_download + '_' + str(round(now))

[@user-lt6jr2mp6l]

講得好好喔 讚讚

[@tsai94520]

這範例好好玩喔！燃起學起python魂！

[@lunaRdeltaY]

太優質了!

[@ogamiogata300]

謝謝小白大大 我之後就可以掛著玩popcat了 (學以致用

[@user-ek9hf7fb5g]

謝謝～

[@owenzmortgage8273]

完全听得懂，你很棒

[@xzhpp]

关注了，加油

[@user-dn5rr7sw3n]

幸好我找到了這頻道

[@hhchen7434]

感謝阿罵，受用無窮！

[@user-gz6zo1ue8s]

我不会用但是看你教学 感觉好有意思

[@bgavin3136]

功能好强大，向大佬学习

[@fsixkgi]

小白你好、想請問一下若已寫好一個爬蟲程式、要如何在Mac環境下讓他每天自動執行呢？網路上找過資料、試過 crontab沒成功過

[@jarryzeng3550]

presence_of_element_located（）這個函式沒有辦法融合進class裡面 會出現presence_of_element_located() takes 1 positional argument but 2 were given

[@misohe3140]

阿罵的救星 小白太神啦～

[@matrixzhang1764]

超讚的影片，非常有幫助，希望能做個測試相關的影片，像是如果沒有某個按鈕就顯示錯誤之類的

[@joey0415]

好順哦！給讚，一定要學起來，這個方法雖然比其它爬蟲慢，不過應該是最直覺最好上手的，謝謝

[@porcorosso4330]

還有很多網站都是用js生成的... 不用瀏覽器根本玩不了...

[@shengsan8122]

youtuber好帅

[@hiddenmymoon]

55:31 請問這邊為什麼不能直接跟前面username和password一樣用下面的語法? imgs = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CLASS_NAME, "FFVAD")) ) 同理，為什麼username和password不用另外再用driver.find_element_by_class_name的方式去抓輸入欄位?

[@user-ss3qj7ed4v]

@Jojojo赞同👍

[@shengsan8122]

博主好帅

[@user-bp1dd1cx9c]

請問出現這個狀況要如何處理? [14352:17708:0120/100823.013:ERROR:device_event_log_impl.cc(214)] [10:08:23.013] USB: usb_device_handle_win.cc:1050 Failed to read descriptor from node connection: 連結到系統的某個裝置失去作用。 (0x1F)

[@edmundkuong2789]

請問在vs code要印出title.text顯示 no title name defined，但在jupiter notebook又可以成功打印，我是否需要在vs code安裝甚麼才行？

[@hohojimmy4443]

谢谢兄弟 刚出狱 XD

[@user-iu9ht3ct3q]

請問一個問題，等待一個標籤再繼續執行那邊，若要改成等待A或B其中一個標籤出現就繼續執行，辦的到嗎?

[@TEstMyViedos]

請問老師 我測試一個購物網頁 class zoom in image的標籤會一直變換圖檔大小 我要怎麼去選最大的圖 去stackoverflow看教學 依然看不懂XD

[@penguinbrother_xux]

39:50 或者可以用split空格，然後取陣列元素1（程式語言大多數陣列索引值是從零開始，所以元素一相當於第二個元素

[@clevensvoneinzbern7055]

TSJ那腳本我照著影片做不出來，好像是因為寫法有變，我自己有de完bug了，可以正常執行到裡面的值大於python裡面的int最大的大小。 有需要的人再跟我說，留言好像不能貼github連結。

[@huipierce9635]

你好，可以分享 TSJ的脚本代码吗？我也是卡在TSJ 这里没法往下做了

[@user-chosenone]

for img in imgs: TypeError: 'WebElement' object is not iterable 這是哪裡出了問題?

[@swzer3524]

upgrade_actions处为什么要用 move_to_element而不是像上面actions那样直接用upgrade_actions.click(items[j])呢?是为了多讲些方法还是它们两种有区别呢?

[@iqsa021s]

請問一下 我按照15:23 後的方法 Query進到 Dcard 出現 Dcard 無法正常載入,是因為現在都被擋住嗎?

[@markchan4953]

Nice

[@user-oo2uu7jt1t]

人帅，讲的也好，可以讲下如何实现whatsapp自动发送么？谢谢

[@zhtpiaoxue]

很高兴，小白这个教程太棒了。我炒美股，求写个能爬取雅虎财经股票财报的爬虫。

[@mingweiluo1761]

感谢您的教程，请问如何避开Bot Detection?

[@ayaahmed2835]

厉害，我之前不知道怎么做replace, “ "

[@user-rk1tu3dl7m]

小白粉簽到🥰

[@GrandmaCan]

小白粉 聽起來好像在吸毒..

[@afro0103]

感謝小白老師 更新一下TSJ中遇到的問題，除了find_element的寫法有變之外，MacOS在寫click的for迴圈時，可能是受到麥克風權限影響會導致點擊異常....(同時Chrome不允許登入，也不會記住權限設定，每次都得詢問) 不管麥克風權限: click = 0 拒絕麥克風權限: click = 1 同意麥克風權限: click > for當中的次數，並且以詭異不規則的速度增加 查網路上資料有人是說chromedriver有bug(有個國外論壇一週前討論到)，有人是說selenium。嘗試過都把系統改成Beta版，但目前仍無解

[@Lee-hz3cc]

請問一下新的find_element()括號裡面要怎麼打?

[@-asltw8107]

@@Lee-hz3cc from selenium.webdriver.common.by import By 在打find_elements(By.CLASS_NAME, 'class')

[@moco5360]

玩程式需要很有耐心除錯.. 一直試錯,直到完成🤡🤡 腦袋的邏輯跟經驗會讓你進步,一開始可能跟留言問問題的人一樣,為什麼不行執行～ 😁😁

[@kun8267]

我想問我該怎麼執行一個網頁裡面的“框架原始碼”在裡面操作 一般用網頁原始碼用的很順利，但是最近有個網頁裡面有框架原始碼，python會抓不到

[@whiterabbit2296]

interesting video mind try to play selenium third-party package well free. Btw is quite similar to UI-Path but in python interesting

[@user-ux7sy8ue2k]

想問TSJ的遊戲，看起來購買很沒規律 是為什麼呢？ 一開始是能購買就購買 沒問題（比如15以前） 後面就看不懂了 比如擁有技術點到17時，14點 16點的卻不會購買 是為什麼呢？

[@user-dm4zx3vb5i]

请问这是什么问题呢？ 1048 Failed to read descriptor from node connection: A device attached to the system is not functioning. (0x1F):ERROR:device_event_log_impl.cc(214)] USB: usb_device_handle_win.cc:1048 Failed to read descriptor from node connection: A device attached to the system is not functioning. (0x1F)[:ERROR:gpu_init.cc(441)] Passthrough is not supported, GL is disabled

[@weichenchen]

不好意思，想請問一下，在使用find_element_by_* 都會出現刪除線，已經有上網找問題，還是沒有找到原因，不知道是否可以幫忙解答，謝謝你

[@future.8753]

想問小白TSJ那個遊戲，如果判斷count>=price(目前擁有的技術點>=購買技術點)的話，那應該是三種道具選出技術點較低的購買，但是影片中三種基本上是輪流購買，是為什麼?

[@GrandmaCan]

我只是做一個示範啦 每次迴圈會從第三個物品到第一個物品依序檢查 如果技術點夠就購買然後跑下一次迴圈 當然你也可以自己設計策略看想要怎麼購買~

[@user-lr3bl6wy8h]

請問能教怎麼用Python 做一個推特機器人嗎 包含主動按攢特定推文底下帳號的帳 加私訊這些帳號 最後就是追蹤和退追蹤的功能

[@AIart_ly]

请问下遇到type = password 的输入框该怎么填充密码呢

[@ricahrd5766]

DCARD網頁的那些class name是不是有改啊，好像跟現在不一樣

[@leohuang2416]

請問用Javascrip那段可以用page down 代替嗎

[@user-xj6mq1hs7m]

小白能教利用python做網頁自動化截圖嗎？

[@user-pp4xq3fe1u]

问一下 学会后 对于撸空投有没有好处？能帮助多少？

[@z-ychen1443]

請問可以教如何爬取Foodpanda評論的方法嗎？謝謝

[@kennyliou1688]

請問如何做到直接執行project1，而不需要啟動pycharm？

[@ayaahmed2835]

我想问一下，可以在chrome用webscrab跟这个功能能取得一模一样的数据吗！

[@leolee3317]

19:00 👍

[@user-pr7pz7dm6j]

請問一下，我執行時terminal那邊會跑出很多不重要的東西，不像你的那麼乾淨，該如何處理

[@Sforss]

你好，如果我用vs code, 在用wget download image 時的function code 要求應該有點不同，想請問該如何編程? 用vs code 做driver_find_element 的時候的編程已經與用phycharm的不同，需要import By, 再用.by 去find element 但係wget這個真的找不到答案，謝謝

[@ronload]

這跟你用什麼IDE沒關係，單純是selenium更新了，要換一種寫法

[@user-zb1jd8ro9y]

我下載的selenium是4.2.0版本的，但是不知道為什麼叫不出18:08 那個.text的函式，不知道是發生什麼問題QQ

[@howardchua5766]

为什么find element by name会有一条横线的，那里写只能find element

[@davidyu0922]

如果是chromedriver的版本不夠新怎麼辦?chromedriver只有94版,我的chrome是97版! 怎麼辦啊!

[@95273581]

39:04 用pycharm運作顯示 find_element_by_xpath 已棄用。 請改用 find_element(by=By.XPATH, value=xpath) find_element_by_xpath is deprecated. Please use find_element(by=By.XPATH, value=xpath) instead

[@brainlin80s]

我也遇到一樣的問題...

[@Alisa20021]

@@brainlin80s me too🥶🥶

[@sacheng5410]

新版本的語法有改， 把 driver.find_element_by_xpath("XXX") 改成 driver.find_element(By.XPATH, "XXX") 即可 另外記得還要import By進去(打下方那句即可) from selenium.webdriver.common.by import By

[@user-mb3np4zs5x]

非常感謝

[@ian6541]

請問我在搜尋網頁title的時候 會出現 "連結到系統的某個裝置失去作用" 我該怎麼處理呢 感謝 我用的是vs code

[@user-iw3cb5zp8l]

+1

[@airmantw1122]

請問chrome driver好像沒支援目前99版的瀏覽器?

[@chenisa87]

有些的程式碼已經更新了哦~

[@user-zu4nx5vj7j]

BeautifulSoup 怎么分析网页的html文档 这个课程在哪里？

[@jamesliang1310]

小白老師 您好: 為什麼我的click會有誤? Traceback (most recent call last): File "c:\Py\Selenium.py", line 46, in link.click()AttributeError: 'list' object has no attribute 'click'

[@swzer3524]

提示列表不能click 应该是该用find......element的地方你不小心用了find.....elements或者你使用click的的组件列表忘记写下标了

[@user-nl4ry3wb1x]

現在 用爬蟲程式跑 dcard 它好像會自動把你視為機器人😂😂

[@jayforever]

請問小白 跑for迴圈印標題只印了一些 就出現這行 [23388:17508:0523/224948.959:ERROR:device_event_log_impl.cc(214)] [22:49:48.960] USB: usb_device_handle_win.cc:1049 Failed to read descriptor from node connection: 連結到系統的某個裝置失去作用。 (0x1F)

[@user-du8ep5wt1j]

我也遇到同樣問題

[@ChristopherInterstellar]

現在登入後會跳出一個小視窗 問是否"開啟照片通知" 這能跳過嗎? 謝謝

[@flatlie2546]

請問寫入帳號密碼的位置，如果是綁定臉書帳號，要怎麼修改，謝謝

[@pizza9765]

哭啊XD 跟著演練太多次到被ig鎖起來不給登入

[@lwhto]

我找不到search.send_key("")跟search = driver.find_elements("text") 的option, 我用google的 你內容是用find_elements然後還有其他option 我並沒有.

[@Chase-Mainland]

請問有什麼軟體可以快速抓取pdf內容部分資料,重複動作,將大量抓取的資料轉換成excel😅

[@taykangwei7012]

版主，你太强了，看了你的影片，我制作了我想要的自动化网页帮助我工作，但是有一点我还是做不到，能请教一下吗 224.50 ==$0 像这样的情况我copy xpatch, print出错，用class name，print也出错， 我应该要如何才可以print我要的数据呢？我要的数据就是div class 后面的224.50

[@bannytan2689]

可以用BeautifulSoup 看看

[@user-rt8si2yf2d]

小白 我爬的網站是動態的 他會一直產生新的element 那我怎麼爬？

[@nfund]

这游戏好重口😂😂😂

[@xingyan1219]

小白 不好意思我有個問題 我在啟動後 瀏覽器會開啟之後馬上跳掉 不知道是哪裡出了問題

[@user-gk9cw4rp8s]

可不可以直接下載整個html來取得圖片?

[@cataviva]

好像邏輯懂了…可以拿來寫搶票系統😆 （都搶不贏黃牛）