原來抓網頁資料已經變得那麼簡單了？一行程式都不用寫，連小學生都能輕鬆上手喔！

Рет қаралды 217,572

PAPAYA 電腦教室

Күн бұрын

Пікірлер: 191

@小翰翰-z5w 4 ай бұрын

我覺得要這影片我要跪著看才可以表達我的讚嘆

@boicelu620 4 ай бұрын

?? 這程式也不是他寫的為啥要跪

@小翰翰-z5w 4 ай бұрын

@@boicelu620 程式被寫出來會不會運用就差很多，EXCEL大家電腦都有，但真正會活用的不算多，能深入淺出教大家如何活用我覺得很厲害

@xsleo2104 3 ай бұрын

@@boicelu620但能把這麼多程序用易通的語言講給大部分人聽這不是一件小事情

@yojaychang 2 ай бұрын

那對寫程式的人，你要用什麼姿勢看？

@tz5379 Ай бұрын

那我们一起跪吧哈哈哈哈哈哈

@VincentCheng1658 4 ай бұрын

東西到您的手裡就能夠變得簡單易懂，真的是本事，感謝您！

@leiZhang-ww3ir 4 ай бұрын

是我见过讲解教授电脑知识最清晰明了简介易懂的一位博主了，赞！

@fengarcanine2606 4 ай бұрын

試了一下還是蠻容易有Bug的但感謝分享這個方法

@user-beautifulsoup 4 ай бұрын

每次都是愉快地开启和关闭PAPAYA的视频，开心学习就是这么简单。大赞！

@shih-tingchen5329 4 ай бұрын

謝謝PAPAYA老師!! 還順便複習了超實用Excel功能!! 之前一直想找，卻不知道用什麼關鍵字來搜尋Trim跟Substitute!!

@J1136Yijia 4 ай бұрын

好強大的東東，總是會有人發明的，我們等著用~~謝謝

@Function_range 4 ай бұрын

當我前幾天好不容易學好爬蟲時... 這部影片就出現了，我...好吧，至少我知道原理如果遇到比較複雜的頁面還是要自己寫w

@阿公-x2j 4 ай бұрын

😂我也有好幾次這樣的感受，好不容易找到成就感，影片就出現了

@colin1016 4 ай бұрын

用過Web Scraper 與 Instant Data Scraper, 這些工具是蠻方便的, 但很多時候抓取結果不如預期, 翻頁的時候抓不到資料, 自動翻頁時跳頁, 翻頁失敗, 資料沒有對齊等, 必須事後下很大的功夫整理, 我認為還是要自己學習編程來抓取, 這些工具當成輔助..

@kuku4629 4 ай бұрын

自己做可以复用，这个每次还要重新设置一遍。大部分需要抓的资料都是经常更新的，不可能只抓一遍。

@natsumealice 4 ай бұрын

終於來到這種資訊科技的時代了，以前論文爬蟲對文組來說好痛苦QQ

@hkywscl 4 ай бұрын

收集信息方便

@Unrequired 4 ай бұрын

說實話跟文理組沒啥關係，只是有沒有必要要多學而已； Beautiful Soup, Scrapy, Selenium, HTTP requests這些基本上你只要一步一步照著做而已

@Terry0319 4 ай бұрын

@@Unrequired ==你要確定捏，不懂一點html不是略懂PYTHON就算有CHATGPT也很難爬好ㄇ，這個東西超方便的，就算我會爬我知道這個也懶得花時間去研究網頁架構了，浪費時間

@morries1234 3 ай бұрын

語言類本來就是文組的...

@3cblog 4 ай бұрын

爬蟲難得其實是分析他的架構，決定怎麼抓比較有效率。

@mia.2862 4 ай бұрын

同事說裝爬蟲自動找資料，終於一年後PAPAYA老師來教學了❤🎉

@severinewang1930 4 ай бұрын

已經不知道要怎麼形容papaya 頻道的厲害及重要性了👍👍👍👍

@ouo9454 4 ай бұрын

發明這類工具的人好天才，如此高效請求也難怪網頁要驗機器人😂

@oscarlin3555 Ай бұрын

現在網頁驗證已經沒有用了 AI做的比人類好

@xyz19791225 4 ай бұрын

滿滿的尊敬，感謝分享

@Hugohabor7799 4 ай бұрын

比較明著來的網頁適合用這類的工具

@lightlydo 4 ай бұрын

昨天還在煩惱怎麼抓資料~今天就看這部，感謝PAPAYA

@goodday5482 4 ай бұрын

感謝大師!!! 前天看到影片，今天就用上了! 省下超多力氣🙏

@Gosiya 4 ай бұрын

太實用了！謝謝PAPAYA

@eatbananaing 4 ай бұрын

太實用了！如果能夠做到 Zepier 連接上 Google Sheet 就不得了

@kevinhuang6952 2 ай бұрын

「感恩讚嘆」尚不足以形容的強大！

@SamCG-f2b Ай бұрын

感謝分享~ 想請教如何可定時抓網頁資料及自動儲存下來用作分析(google sheet/excel/csv等儲存都可以), 例如想分析網站指定貨品價格走勢, 謝謝

@mugen8219 4 ай бұрын

精闢的講解!!請收下我的膝蓋...

@fukaichang2328 4 ай бұрын

太神了！感謝分享及講解❤❤

@n1xpen703 4 ай бұрын

感谢！刚好工作中需要用到爬虫，这个教程超级实用

@wanxinli6974 Ай бұрын

讲解得好清晰优雅！

@regularshow8958 4 ай бұрын

太神了!我把我淘寶購物清單爬下來加總，14年來買了120幾萬台幣，呵呵!

@papayaclass 4 ай бұрын

你買真多 ~~~~ ！厲害厲害 👍👍👍

@劉睿麟-d3z 3 ай бұрын

我蝦皮想抓資料，但是蝦皮似乎阻擋了爬蟲軟體，淘寶沒有阻擋嗎！？

@regularshow8958 3 ай бұрын

@@劉睿麟-d3z 爬購物紀錄沒有問題

@Invisible_troll 3 ай бұрын

看了一下，基本上整合了简单的爬虫功能，但如果目标页面十分复杂，还是需要自己写代码

@sugarban 4 ай бұрын

實際上就是搜出網頁中寫死的大區塊然後再對內容分類而已所以只要遇到有進階篩選功能的，就會因為商品區塊改成個別呈現，導致只能抓到一團寂寞

@jasminchen6829 4 ай бұрын

老師好，我用影片的方法用在全國法規資料庫最新消息，擴充判斷’下一頁‘按鈕一直判斷成‘最後一頁’，即便我按影片步驟教導‘下一頁’才是正確的按鈕，開始爬蟲時還是會變成去按‘最後一頁’導致爬蟲資料只有第一頁及最後一頁，想請問有建議的解決方法嗎？謝謝。

@777-o6l 2 ай бұрын

我也是遇到問題

@ChengCheYu 4 ай бұрын

現在爬蟲困難是一堆驗證機器人:

@hansom283 3 ай бұрын

真的太神了!免除自己寫python程式碼了~

@YY-hl7hl 3 ай бұрын

如果又有一個可以偽裝成chrome等瀏覽器的擴充插件出現那是真的不用寫code也可以應付絕大多數的爬蟲了

@guangfumike 4 ай бұрын

簡單又實用!超強!

@lionsherkh 4 ай бұрын

謝謝師傅 !

@pplan 4 ай бұрын

請問有沒有一次搜尋多網站的爬蟲工具

@kafans 22 күн бұрын

谢谢您的分享请问Firefox浏览器有类似的插件吗

@yungshenchen258 4 ай бұрын

請問大師,爛番茄網頁結構,如果要全部一次抓完所有影片資訊,但是找不到NEXT BUTTON,按下LOAD MORE功能鍵,就只停在現行網頁上，並沒有持續向下抓取資訊，應如何處理?

@maygi4918 4 ай бұрын

非常感謝老師，太有幫助了！

@strolltimes 3 ай бұрын

這個程式的爬蟲不知道會不會被擋，我之前自己寫的爬蟲去爬政府機關的活動資訊，好像連線太頻繁就被擋了，會有一小段時間不能再上

@rex52036888 4 ай бұрын

希望可以教學變成自動爬蟲的方式不再需要手動爬資料🙏

@jin88ism Ай бұрын

谢谢老师，聪明还会教

@ZTHUANG 4 ай бұрын

哇！這個工具很實用，感謝分享

@Envy_Alvin 4 ай бұрын

直接用Excel Import Data From Web就可阿

@燦爛の煙花 4 ай бұрын

老師你好我想詢問用photoshop 如何把黑色人物剪影→正常圖片例如：神奇寶的猜猜我是誰還原成原本的樣子請問有沒有相關教學? 感謝老師！！原本我是用魔術棒選黑色隱藏的部分再用曝光度調亮再來就自己亂搞，雖然看得出輪廓但不是很自然。。請告訴我正常的步驟，謝謝

@papayaclass 4 ай бұрын

嗨，如果沒有原始檔或原始圖層，要把一個非常暗的圖片還原成原來的樣子會有點困難喔，因為在調暗的過程中圖像會失去一些色彩資訊和細節。所以要做猜猜我是誰這種效果的話，保留一份原始影像還是最理想的。

@drccr 4 ай бұрын

Octoparse要收費了。有沒有可取代的免費工具。謝謝老師

@dinayogi 2 ай бұрын

超棒的謝謝🎉🎉🎉

@bradtsai6746 4 ай бұрын

真的很方便不過會用爬蟲的狀況多半是要做機器人啦XD

@gqqnbig 4 ай бұрын

做內容農場～

@darenme 22 күн бұрын

大感謝，正好需要啊

@簡士凱-j6r 4 ай бұрын

厲害~ 感謝分享

@dwarfking8585 Ай бұрын

老師您應該拿師鐸獎

@samwu8070 4 ай бұрын

實用的功能，馬上來試試看

@yungshenchen258 4 ай бұрын

Octoparse的試用只有14天?

@peter-you 4 ай бұрын

這個好實用阿阿阿❤❤❤

@shengkai0209 3 ай бұрын

很棒的教學

@MikewasG 4 ай бұрын

太優質了✨

@briantu8728 4 ай бұрын

這個方法只有一個缺點：太強了！

@10053010 4 ай бұрын

請問Octoparse是不是只有14天免費呢？

@ryanwutw 3 ай бұрын

請問PaPaya, 如果遇到的按鈕是 1, 2, 3, 4 ,5. 有方法解？

@浚爺 5 күн бұрын

現在好像要付費才能使用？？

@doge7562 3 ай бұрын

如果我需要爬取的資料需要點擊資料才會像選單一樣向下拉開我該怎麼做例如原價屋的硬碟資訊

@yijunwang5703 4 ай бұрын

Octoparse是做什么的呀

@劉睿麟-d3z 3 ай бұрын

使用上我有一個問題，我想抓自己的會員資料，無法使用帳號密碼登入，自然無法抓內部資料，請問如何解決，謝謝。

@amitaka 4 ай бұрын

為什麼我跪著看, 這太方便了

@Chase-Mainland 4 ай бұрын

請問有什麼軟體可以快速抓取pdf內容部分資料,重複動作,將大量抓取的資料轉換成excel😅

@alanhuang0920 4 ай бұрын

如果他是滾動式到底部自動呈現下一頁資料，而不是點擊的話，這也是可以的嗎

@breezeana06 4 ай бұрын

讚嘆 ! 正好用上 !

@jiawei0812 4 ай бұрын

想請問一下，是不是結構複雜的網站就比較不適用?

@DysonWang-y8n 4 ай бұрын

是，有些網站用的是前後端分離技術，資料是從後端拿的，必須得去觀察網站傳送資料的流程才能抓到規則去爬蟲

@武山儒海 4 ай бұрын

适不适用主要看你具体需求，和网站反爬。其实就是解析页面定位Html标签和class名字等相对做成插件比较方便。需要进阶一点可以试下rpa可视图形式拖拽。再进阶则是使用python结合scrapy去做深度定制

@吃吃-b1e 4 ай бұрын

限制的問題在於它的爬蟲沒有控制爬行速度與使用者掩護所造成的爬行速度過快而被擋下

@武山儒海 4 ай бұрын

@@吃吃-b1e 延时爬去是必然，掩护的话考虑的就太多请求头，代理IP还有代理IP质量，登陆等.

@吃吃-b1e 4 ай бұрын

@@武山儒海能跟你加聯繫嗎

@oao1051 4 ай бұрын

OAO!!!!!!! 請問老師這有辦法批量抓圖片嗎? 好需要orz 想要整理家具的材質貼圖像是沙發的皮革有多種顏色跟布料/金屬件也有多種顏色放到anytype裡面當資料庫

@aass2288as 4 ай бұрын

之前有用過eagle，批量抓圖非常好用，雖然是要付費，但如果工作上常常使用，絕對很值得

@datactive859 4 ай бұрын

我两年前开始用这个软体，起初感觉很强大，后来发现很多的页面会让你填验证码，想尽办法不让你搜刮，着实有些头痛

@pensis 4 ай бұрын

這種方式的出現就是因為爬蟲太普遍了以後只有AI能對付AI了

@jackwongbmw 4 ай бұрын

但有些網頁用javascript 出的dynamic content應該不行吧

@gqqnbig 4 ай бұрын

這不是主要問題。第一個瀏覽器擴充工具和第二個工具都內建瀏覽器，可以執行javascript。反而python scrapy之類的編程方法一般不支持javascript。

@ccheyhey 4 ай бұрын

@@gqqnbig應該是說最基本的python 方法是不支援，但只要再加些lib就可以支援

@DukehsuPh 4 ай бұрын

谢谢papaya ，我想到要抓取的数据了

@劉睿麟-d3z 3 ай бұрын

我剛剛玩了一下，發現蝦皮他不給登入，似乎是防爬蟲軟體進去抓資料...這有解嗎？

@tsaiyungchien1053 4 ай бұрын

請問如果要下載下面網頁所查詢到的csv檔案，如何變成每天自動爬文下載檔案

@WongStephen-zd5qs 4 ай бұрын

這App已加入了Chrome, Edge, 但卻說不能用，何解？

@fanyang1972 3 ай бұрын

如何解决Authentication?

@christinalai3485 Ай бұрын

好犀利

@Quet_Weilan 4 ай бұрын

老师有了解过影刀吗

@妖仔在台灣 9 күн бұрын

太強了

@陳秉謙-z9p 4 ай бұрын

謝謝！

@outoftime666 2 ай бұрын

請問 chatgpt 可以這麼做？

@yt1cheung851 3 ай бұрын

Instant Data Scraper 連結好像失效了

@黃國崴 4 ай бұрын

抱歉可以詢問有關於word的問題嗎？每次開啟word的檔案時，都會有另外兩個舊的檔案被一起開啟，就是我點擊C檔案，但除了C檔案被打開，同時也開啟了A和B檔案，每次開啟word都有這個現象，也每次都是A和B檔案被打開拜託網友幫忙解惑感謝大家

@charlas99 4 ай бұрын

根據你提供的描述，你在開啟Word文件時，除了目標文件外，還會同時開啟另外兩個特定的文件。這種情況可能是由以下幾種原因引起的： 1. **啟動文件夾**：有時Word會記住上次打開的文件夾中的所有文件，並在啟動時自動打開這些文件。 2. **啟動宏或插件**：某些宏或插件可能會自動打開特定的文件。 3. **最近文檔列表**：Word的“最近使用的文檔”列表可能包含這些文件，導致它們被自動打開。以下是一些解決方法： ### 檢查啟動文件夾 1. **關閉所有Word文檔**，並重新啟動Word。 2. 點擊`文件` > `選項` > `進階`。 3. 在“常規”部分，檢查“啟動時打開所有文件的文件夾”是否指向一個包含這些文件的文件夾。如果是，請清空或更改該設定。 ### 檢查啟動宏或插件 1. 點擊`文件` > `選項` > `外掛程式`。 2. 在“管理”下拉列表中選擇`COM 外掛程式`，然後點擊`執行`。 3. 停用所有外掛程式，然後重新啟動Word，檢查問題是否解決。 4. 如果問題解決，可以逐個啟用外掛程式，找出引起問題的特定外掛程式。 ### 清理最近文檔列表 1. 點擊`文件` > `選項` > `進階`。 2. 在“顯示”部分，找到“顯示此數量的最近使用的文檔”，並將其設置為較低的數字，例如0，然後點擊確定。 3. 關閉Word，然後重新打開，並重新設置“最近使用的文檔”數量。如果上述方法仍不能解決問題，可以嘗試重新安裝Office套件，以確保所有設定恢復到默認狀態。