如何用 ChatGPT 帮你写 Python 爬虫？实际样例循序渐进手把手教程

欢迎加入我的会员频道：
/ @wshuyi
兴趣：数据科学、人工智能、效率工具、知识管理
Substack: wangshuyi.subs...
Patreon: / wshuyi
Twitter： / wshuyi
Medium: / wshuyi
知识星球：t.zsxq.com/124...
小报童服务：xiaobot.net/p/...
少数派专栏：sspai.com/colu...
微信公众号：玉树芝兰（nkwangshuyi）

[@LivaXie]

非常棒，对于纯纯的小白来说，很有用，我看过很多视频都是至少需要输入一点代码的。这个视频最大的启发是“思路很清晰”

[@暐-r2q]

據影片內容真的了解程式結構就可以寫出可用的程式，可以幫助新手度過前期那種明眼人一看就能修改的錯誤，真是一大福音！ 是很好解放雙手的輔助寫手🥳

[@limengcheng]

确实是解决了细节上的问题，但是主人自己也得懂才行。

[@user-uy9bd7fi2p]

chatgpt相当于解决了你手的问题，你只需要提供你想做什么，他帮你解决具体做这件事情所需要的知识细节。这一点在编程领域太棒了，可以极大的提高程序员的效率。谢谢老师分享。

[@popeye5726]

王老师，我是做医疗工作的，我现在尝试让ChatGPT为新做医生的学生提供临床指导工作，辅助看诊流程，看完您的视频，我很受启发，我最近要着手做一下

[@wshuyi]

祝顺利！

[@popeye5726]

@@wshuyi 谢谢您，您是我见到的油管上ChatGPT的应用类课程讲得最有实用性的老师了，还有个讲研发向的课程的主播也挺好，但是应用向的里您是最好的了

[@wshuyi]

@@popeye5726 谢谢鼓励！

[@goldluo126]

看了3遍，学有所成。非常好！GPT对程序员最友好，但小白很难越过那道坎，哪怕网页的的结构和加载模式等基础知识，小白想使用GPT编程，还有很多的相关知识要学习。但门槛相对低了一点点

[@蓝狐]

听大佬聊天，结构好清晰啊，之前竟然在 B站 没发现，两个平台都粉了粉了

[@alanwang1389]

现在不在b站了吗？没搜到

[@蓝狐]

@@alanwang1389 王树义老师

[@alanwang1389]

@@蓝狐 多谢！

[@qqhuang3356]

我用它写了很多vba代码，这些代码是我之前一直想写，但是很懒，不愿写，因为里面有我需要学习的新知识，走了gpt，我的想法都变成现实了，所以以后我只要想点子，不需要写代码，只要稍作修改，我觉得我的创造力会大大提升，而且在看gpt写的代码的时候，还可以自己的逻辑思维，因为它的算法有时候让人耳目一新。

[@dbovsdbo]

你用的是GPT4还是GPT3?写的vba没有很多错误吗？

[@qqhuang3356]

@@dbovsdbo 会有错误，改一下就行了，有时候怎么说他都不懂你的意思，但是大概框架出来了，加点代码就行，这个工具想好好使用还是得学点编程，完全靠它效率太慢，我基本上它写出代码我就能看出这是不是我想要的代码。

[@caocaojam]

大哥能不能教教我

[@peterufrancess9344]

提到了可以让chatgpt自己总结一个prompt作为总结，这个想法很好

[@JYuan]

好老师！作为退休的高校力学教师，我很佩服你。

[@wshuyi]

谢谢鼓励❤️

[@tengli-c2r]

讲的真的非常棒，北京学者认为你的分享非常有帮助

[@xiongbiaochen2187]

chatgpt给了那些新手更多的机会，编程相当于有个超级牛的大牛手把手在旁边教你，帮你写代码。以后程序员是真的会下岗的。

[@lingquan4263]

ChatGPT只能帮你，如果你根本就没有任何概念，它是无法帮你的，而且你的水平越高ChatGPT对你的帮助越高！

[@asterzhao0409]

用的最多的還有debug，代碼報錯，直接把報錯信息貼到chatgpt，讓它幫我修改，經過幾輪之後通常都可以解決問題～

[@Nobody-rm5oz]

哈哈哈 今天用GPT+ python做了个excel数据抓取模板 感觉还是很开心的

[@ericinema]

會發現問題並提出正確問題才是關鍵 這需要的不只是基礎編程還需要經驗 不過我認為人類只要多學習就可以順利運用 只是這樣好像是ai訓練人類而不是人類訓練ai了🤣

[@wshuyi]

说得好，哈哈😁

[@ericinema]

@@wshuyi 我試過用chatgpt解出一個afsa to tsp的演算法問題 的確要針對關鍵問題修正很多次 但確實能完整無誤的畫出圖形與正常運作 還有關於金融api交易也是一樣 的確也幫我解決了很多整體的問題 在開發上快速很多 只是錯誤也不少 搭配 copilot使用更有效率喔~

[@wshuyi]

@@ericinema copilot 我也在用😁👍

[@gmzq3670]

互相驯化

[@54870498]

老師說話起來內力很足的感覺😃😃

[@Tsung-ChihTsai-y1c]

拿來學習寫程式跟新事物，在程式的部分一開始很吃力，但到後面其實程式也不用ChatGPT 寫的得很完整到一次成形的程度，只要自己也順過去把小地方直接改掉就好，不論如何這都很省時間

[@mr_crisy7981]

对于小白来讲其实挺难的，环境的搭建，库，插件导入，如果能这么清楚的理解需求，并且能翻译成代码执行的命令，自己差不多也能写出代码了，不过对高基础编程的人来讲，老师的视频非常受启发的，感谢。

[@CowshedDaoist]

说实在的，我的编程基础就是高一学的Qbasic，和大一学的SQL。但有了GPT，我可以用它写vba，修改我工作中的Excel表，让我原来2天的工作缩减到半天完成。我相信，对高阶程序员来说，半天的工作仍然有压缩空间，但对我来说，多了一天半的摸鱼时间，已经很爽了。

[@Aaron-wk8ls]

从没有学过编程的情况下，装PYTHON，装环境，提要求，出结果。。。只要5小时，对小白就是这么友好

[@peterufrancess9344]

喜欢这样具体实例的展示chatgpt的用法

[@Mrinchina]

不用chatgpt之前：编程1小时，debug 1小时. 用了chatgpt：编程5分钟，debug 3小时。不过10年以后，真的有可能完全替代人类编程

[@ipeooc]

真实，找别人代码的bug比自己写更加费时麻烦😂

[@ipeooc]

能写和找错还差一个层级希望ai能够继续进化到可以纠错的高度

[@jannachang]

@@ipeooc One of the key differences between an experienced and junior programers is his/her debug skill.

[@pojunxingjun]

谢谢老师的分享，很清晰，授人以渔。

[@baplchen]

是的,是这个道理,再强大的“神器”也需要使用者有相应的基础“操作技能”.好比:拥有一把枪,却不知道,握持,瞄准与扣扳机.那它就只是个棍子而已.

[@feizhaigege]

继李永乐老师之后，关注你了😁

[@whzq404]

为最后一步总结prompt点个赞

[@wuxiaoeth]

感谢老师的分享.很详细很具体.

[@CienWill]

这内容价值太高啦

[@user-swzr79]

学习了，非常棒。

[@wshuyi]

谢谢鼓励！

[@囚徒-v6j]

感谢老师的讲解，初中文化的我都看懂了

[@happykaho]

謝謝老師指點迷津🎉

[@shanwu53815]

老师相当有喜感：）

[@liupower1569]

循序渐进....赞👍👍👍

[@user-iHZ7dRAbvwiRz8KqoP3W]

我用chatGPT一起協做, 花了半天的時間就寫出了一個利用gmail api + Line notify 把我的netflix 驗證碼推播到lin的nodejs server

[@user-om4gj1jz5o]

其实你把它看做成幼儿园小孩子一样去对话就会好沟通一点，虽然是幼儿园小孩的智商，但是他的知识比专家还专家。个人觉得现在的沟通方式不能单纯的用集体去训练，这样出来的结果只会大众化！应该要做一个模型出来像，用语音识别这种方式来学习个人表达方式。就像我说话喜欢用你，而你说话喜欢用您一样道理。其实也不能怪它，因为他的发明人是说英文的，虽然我不懂英文，但他们的沟通方式应该都是用标准方式去沟通的，不像我们只要说表达出大概意思，就能沟通了。现在它只是起点，剩下的奇点就看我们了！

[@datactive859]

继续下一步,请chatgpt把爬下来的文本压缩成要点输出

[@forrestgump4213]

一看，老师你没有参加过大型软件项目实践。真实软件工程中，写程序的工作量只是占到10%就不错了，其余时间是调试和修改历史性的东西以及具体业务相关的东西。它是无法完成的。

[@xiaoshuaishuo]

小帥正在學習中, 謝謝你

[@jonnyzheng419]

王老师讲的很精细，不过这个还是适合程序员来用，非专业的还是搞不定的

[@chinabeta]

它不具备联网能力，它闭眼就能写代码真是太厉害了

[@ruima-b1v]

老师你是我的神

[@昂起头]

老师讲的太好了

[@oceanli1678]

看到的唯一一个有点用的

[@Cloudless888]

正在學習AI，請chatGPT協助整理出網路上的學習資源，並且提供學習上的建議。

[@furrykan1061]

老师讲的很详细，可是需要登录后才能访问的页面怎么爬取

[@user-ql3xq3mu2t]

Cookie

[@chenchen-ld3hl]

感谢老师的无私奉献，我是一个小白还在学习中，现在有一点看不懂

[@wshuyi]

加油！

[@un50]

有用👍

[@jasonchan7405]

我不懂代码，我让chatgpt 写了随机密码生成器，带多种选择因子。还在网页上布置了text to speech synthesizer, 还布置了各种类型的QR Cood Generator.

[@caron0k]

视频的例子还只是爬取了当前网页的信息，还没涉及到当前网站栏目下n页的所有信息，老师还能发布一个进阶教程吗

[@dongwenliu3357]

学到了 厉害

[@SoftwaredeveloperCa]

感谢！

[@oscar10700]

谢谢老师

[@gangcao653]

请问如果目标爬取的网站需要登录怎么办

[@sevenaac4783]

相當好, 給個讚讚讚.....

[@yueliang813]

老师请问分页式网页信息怎么爬取呢？如果想进一步根据内容主题进行分类也是个问题

[@kitty3Q]

看到您用的英文提问，请问如果用中文提问会不会比用英文差一些？因为大陆有严格的言论审查

[@haoosc5017]

老师厉害，不像那些胡吹GPT的

[@warrenchuo6845]

保姆式教學，感謝

[@JohnDoe-uw5mj]

用chatgpt给老师写了一张请假条，chatgpt编写的理由比我自己编的理由靠谱一点。

[@huaichengli-pt6qw]

老师的小伙伴叫的i了哈哈哈哈😄

[@gugolplay8532]

你好 老师 chatgpt 真的可以写的话, 那我可以叫它写一个 blender 3d 的脚本语言给我 我直接拿来用

[@bclccnaruto3787]

厉害

[@leochan1104]

嗎呀，老師就是不同，條理清析

[@kka1356]

我发的评论没有了？

[@yansu1776]

老师，账号已注册，但是打开chatgtp总是出错。vpn换了节点可以打开，但是网速慢，无法正常输出，求指导🙏谢谢

[@yansu1776]

现在问题是无法正常打开chatgpt

[@gunsnroses962]

Clear the browsing traces and open N+shift+ctrl ;change to disable bypass on proxy rule.

[@chenshengtuan5353]

节点不对,直接换美国节点,, 换服务商

[@popeye5726]

听您说话感觉熟悉，原来是天津的呀

[@wshuyi]

😁🤝

[@lz9751]

我是设计院工作的，用Chat GPT写标书投标，不要太好用🤣

[@CowshedDaoist]

看来，标书这东西，没人看，也没什么用🤣

[@Wyydlom]

好慘，我沒天份爬不到任何東西，也不知該怎辦。鳴鳴。只能一個個手打資料了。 現在的學生好厲害呀！！QQ

[@focusonv2ex]

老师用的这个贴代码的工具是什么？visual studio code吗？

[@3333-z4i]

是的

[@wangjingge]

还是需要基础的编程理论

[@hehe195488]

废话文学我要向老师学习！

[@chen31247]

你这种使用方法还是要懂，不懂的人连问什么都不知道。现在chatgpt还很难帮助到纯新手。

[@施朝云]

spa页面没法采集

[@user-mr4vf5ri2h]

老師，想請教如果是要爬取若干個頁面要怎麼下指令，以及每個被爬取頁面中的若干頁面中的訊息

[@shanglinzi8076]

老师你好，请问怎么在开发者程序中找到对应的class，我那里有很多class

[@UndeadJ]

參考這裡 kzbin.info/www/bejne/b36xdHqalq-Zd5I ?

[@可可杂记]

你需要有基本的dom知识

[@yongshenlu]

多来点这些

[@youtube-ft]

你好, 如果用中文去描述, 可以實測一次嗎?

[@wshuyi]

自己动手试试看

[@pascalzhou929]

用中文没有任何问题，chatGPT没有语言障碍。 有障碍的是人类

[@大大-n8d]

我感觉用英文表达会比中文效果更好

[@SeaSprayX]

有点思路了

[@sum41er5]

写了份支部组织生活会材料

[@onlyhuman028]

xpath都不用了

[@lcf2366]

chatGPT會不會寫電腦病毒？

[@鍾承恩-s6y]

看你會不會問問題了

[@lcf2366]

@@鍾承恩-s6y 它目前的程度如果沒出錯可執行，應改還是會被防毒抓吧，要不然要它寫防毒，自己鬥自己看看

[@gossipGirlMegan]

那你先计算机本科毕业再说。小白就算了吧

[@lcf2366]

@@gossipGirlMegan 就算本科畢業也不會教這個好不好

[@gwyngyllen]

老师举例子也爬取一个有用信息的页面，这种学校垃圾新闻网站也值得爬😂

[@wshuyi]

举一反三嘛😜

[@UndeadJ]

老師是參考這裡 kzbin.info/www/bejne/b36xdHqalq-Zd5I ?

[@wshuyi]

这段还没看过，谢谢分享🌹

[@ChinaTravelGuideX]

都有chatGPT，为啥还要爬数据，它本身就是个巨大数据库呀

[@user-ut2bj1vc3o]

居然很多台湾人在看

[@大大-n8d]

说不定还有香港人

[@leiyang5665]

外行看热闹 内行看笑话 这种code 其他正经网站 随便来个反爬就凉了

[@albertkent4220]

是，有价值的网站基本都有反爬程序。这个也就忽悠下小白

[@祭央又-d7e]

懂编程的话，这个仅仅锦上添花吧，没多大意思啊，相当于更智能一点的百度而已

[@大大-n8d]

适合比较懒一点的人用

[@furrykan1061]

老师讲的很详细，可是需要登录后才能访问的页面怎么爬取

[@RickIsMe]

應該要動態爬蟲吧

[@gossipGirlMegan]

先手工登录啊。。。我晕