【python】requests發送http請求 ｜ 模擬發文、爬取資訊

python requests
http
爬蟲
⭐️ 目錄 ⭐️
⌨️ (00:00) 介紹
⌨️ (02:49) 安裝 Requests
⌨️ (03:55) 發送 get 請求
⌨️ (06:33) 下載圖片
⌨️ (08:58) 下載 pdf
⌨️ (09:59) httpbin 網站測試
⌨️ (12:39) 網址參數
⌨️ (14:13) 發送 post 請求
⌨️ (17:43) 改變 request header
⌨️ (20:03) 基本驗證 basic auth
⌨️ (23:10) 增加 timeout
⌨️ (25:52) python 發文
⌨️ (31:16) 爬取網站資訊
🔗課程檔案
Requests : docs.python-requests.org/en/m...
httpbin : httpbin.org/
✏️相關課程
python 初學者教學 : • 【python】4天初學者Python教學 ...
http 介紹 : • 什麼是 HTTP、HTTPS ｜ http ...
python OpenPyXl 教學 : • 【python】自動化操作excel (op...
python Beautiful Soup 教學 : 錄製中
html 初學者教學 : • 【html】1小時初學者教學 #html #...
css 初學者教學 : • 【css】2小時初學者教學 #css #cs...
js 初學者教學 : • 【javascript】3小時初學者教學 #...
#Requests #http #爬蟲 #python

[@GrandmaCan]

✏最新課程-python、AI組合包 grandmacan.com/courses/yCC2Q8WFsc9Av52myZBh 即日起至2024/07/12前購買，即享36折優惠~

[@user-bi6ry6xb5c]

無私奉獻的youtuber，讚！

[@user-uk4pg2iw6u]

熱騰騰的資訊，感謝分享！

[@katarinaz2190]

真的覺得這個影片好棒！！！辛苦你了

[@user-mm8hm4mw1k]

謝謝小白的教學，講得很清楚!

[@ghchen8366]

感謝小白，影片超棒！

[@panda00lin85]

太感謝了，講得好仔細

[@thenameismo0]

謝謝小白的教學~~ 剛好選修有修到相關課程 聽完觀念更深刻了! 敲碗 python Beautiful Soup 教學 ~~~

[@max47319]

感謝小白，講得很清楚!

[@user-il1zd6ju8k]

講得超仔細!!受益良多

[@henryfu9777]

好頻道支持~~ 廣告看好看滿~

[@user-np2gc3jz4b]

以訂閱喜歡了超級用心的影片大推幫助很多

[@wengxiaoxiong666]

学会了，我已经找到了爬虫工程师工作，谢谢阿嬷

[@majenny3053]

非常實用 感謝

[@rexsu9202]

未看先推~~~~~

[@user-yy6gm4uv7d]

感謝教學~~~

[@python360]

Nice video man, Good that you show POST as well

[@user-gt4kf1qt6l]

感謝分享

[@bbfoster306]

超喜歡小白~ 太感謝拉@@

[@acmejia91]

Buen video, consumir de un API con Python es muy fácil. Lo mejor es que puede usar muchas herramientas que te facilitan la tarea.

[@wongtszpong]

我阿嬤都會了，謝謝你呀

[@markchan4953]

~~~~~~~~~ so niceeeeee

[@kusost]

剛好想學POST來做自動化登錄，真的是賺到了，謝謝小白，期待還有更進階的課程

[@anyonediff2106]

mvc 就可以直接登了阿????????

[@fatfatfat1643]

Thanks It is useful!

[@user-nl4ry3wb1x]

31:59 把標題複製下來並且 用來在html 檔 搜尋 發現沒有在 原始html檔裡面，表示應該是取得html 檔之後，然後發送另外的請求 再去 取得其他資訊 32:48 所以 按 f12到network 去 檢查是哪一個 請求 得到這些資訊

[@austin26]

讲得好细！

[@angelozou3914]

能否出一個教程，主題是如何用python抓取一個網站裡面不同分類下的產品圖片和文字內容，並分類保存圖片和文檔（特指文字，比如把文字保存在一個txt的文檔里，文檔名字可以是網頁title）。

[@user-pl5cu8fq8k]

謝謝小白，真的獲益良多。但我目前有一個radio的單選選項，我有去看他傳出的資料形式是用post'選項名':'N'，我選項名也有從HTML的程式碼看是一樣的。但是我每次POST出去都得到選項沒選。想請問要怎麼解決

[@yccheng1618]

GOOD

[@austinli80160]

頭香

[@yubel2266]

感謝小白，想了解如果是模擬發文，每種語言都可以做到，是嘛? 只是各有優劣?

[@user-nl4ry3wb1x]

請問 關於 33:07 尋找的部分 可以講解一下 或者 拍一支 影片介紹 是 如何尋找的嗎

[@OnlyCuteChannel]

小白 是否能出一期用 google colab 寫爬蟲 然後記錄在 google sheets 裡呢

[@musicbest7718]

我比較想學如何破解一些論壇的會員，不用登入就可以看到會員的帖子xD

[@sptoo123]

對了 講到pdf 前一陣子原本有想過用python大量將資料套進固定格式表格弄成一份份的pdf 但是好像找不到適合的套件 後來就用php 不知道有沒有什麼好用的套件 (這真的是很冷門的需求.... 甚至用word和excel配合的合併列印就能做到了)

[@anyonediff2106]

querylist

[@jess0508ify]

看來今天裝扮是剛當完兵

[@user-wj6gp3qm3q]

感謝小白教學~ 已成功轉檔成為excel 但想請問append部分遇到以下的式碼 ▾serviceDataFormat: [{displayName: "TEXT"}, {displayName: "ZIP"}] ▾0: {displayName: "TEXT"} displayName: "TEXT" ▾1: {displayName: "ZIP"} displayName:"ZIP" 使用兩層字典方式有無法顯示 想請教一下需要如何處理

[@Yuuzi261]

謝謝小白的教學，但是在17:18處你示範了將圖片post到伺服器上，我實作一遍之後發現圖片還是以form的形式上傳，而不是在files（因為訊息太長了所以我額外將訊息寫進log檔查看），影片中你說header的上面是files所以是成功了，但其實header上面是form，再上面才是files

[@Yuuzi261]

經過我的實測要將程式碼改為r = req.post(url, params=params, files=image)才會是放在files欄位

[@user-ce5vw5tn3p]

阿嬤你好 請問bs4 錄製好了嗎 現在正在學習這門課 謝謝^^

[@user-rt8si2yf2d]

小白 如果是動態的網站 就是那種玩家可以互相傳文字和數字的 那怎麼爬取？

[@xinyiyeap1152]

有机会可以发C++教学吗 哈哈😆😆

[@GrandmaCan]

可以唷

[@kazawan]

看看一下者个页面的get哈哈哈

[@zhiqunlai2996]

每次教完爬蟲，該網站都會新增反爬蟲機制了XDDDD

[@austinli80160]

雖然很討厭不過這就是爬蟲的宿命了

[@anyonediff2106]

@@austinli80160 query list 撈應該還可吧 沒測過

[@Chiewjkai]

@@austinli80160 然后又会出现防反爬虫

[@user-kx9ms1bw6b]

請問另外一篇excel動態儀表板中的 類別 :語言,職場技能,程式,行銷...怎麼爬的阿 找了整個晚上還是沒辦法 懇求告知 感恩

[@user-tf5cb8fp3c]

小白老師強大，國民金孫等級

[@user-tf5cb8fp3c]

好厲害大學生

[@yu-ft9yl]

我本來想用臉書來練習發文的，但是我找不到authorization，請問是因為有不同的寫法嗎?

[@wallanceyu]

跪求使用BeatifulSoup & pandas整理財金網站表格教學...

[@linuslee2333]

謝謝小白。若能方便交換檔案，可不可以將Python程式轉檔為.exe的檔案？

[@chaochen1992]

pyinstaller 自行打包

[@linuslee2333]

@@chaochen1992 請問現在的pyinstaller能自行打包嗎?

[@user-zy6xs4fq4h]

請問小白，如果用network找到資料的網址，丟到瀏覽器網站上寫internal server error這樣要怎麼爬去網頁呢？

[@sagirilove5387]

如果檢測出在原始的html檔案中的話是要引入另一個beatifulsoup的工具來爬取嗎-.-

[@user-zu4nx5vj7j]

Beautiful 解析 回传的 课程没有啊

[@hyunwoo0120]

能把twitch聊天室的爬蟲功能有嗎:3

[@AC-kz8jh]

請問一下，為什麼我下載圖片時沒有圖片看到？左邊那個open editors 也沒有request 的字樣

[@alan4234]

很有用! 不過想請問小白 若遇到網頁有下拉式增加的話 可以教學嗎~~

[@morris5647]

想請問一下 您是點開哪個檔案找到的，因為我模仿了老師的作法，但不知道是不是被更改過，因此network裡面的post都沒有找到相關內容

[@tinlu4137]

是不是找時間介紹一下requests-html

[@rabbitinosaka]

想問一下PYTHON發文那一部分,我用FACEBOOK來做實驗結果找不到那個POST,請問是正常的嗎?

[@user-zb1jd8ro9y]

不好意思，關於那個post請求的部分，不知道為什麼chrome更新完就完全找不到request payload在哪裡，點進去payload tab也只有看到一個query string parameter而已...，已經苦惱好久了，裡面能按的按鈕都快試過一遍了，還是不知道要去哪裡找到post內容。

[@user-mw6yk5ux7u]

完全依照程式碼寫完爬取hahow網站，Terminal也有出現爬取每一頁的response，但excel裡面卻只存到了24筆資料，也就是只有一頁的資料，請問這是什麼問題??

[@user-zu8pt8ef3u]

他的limit=24，一頁最多24筆課程資料，我猜你可能for迴圈的地方有問題，可以再看一下

[@dcheigt7247]

小白 可不可以出一个影片教我们 如何开发一款像 line 的聊天app

[@user-nr8rl9zy4g]

我写的条件是'price' 为什么爬出来的是‘priceInMoneyPoint'

[@kuo615]

請問要如何解決cp950 encode ?

[@cindychen4979]

小白老師請問為何 import requests as req 會一直出現錯誤~?

[@mavis8895]

是不是因為你沒有pip install requests過~

[@garylin8674]

太棒了，正想說要怎麼將爬出來的資料匯出， 小白就上線更新了😀。 但若是想將爬出來的資料匯出成txt檔，該怎麼做呢？試了了許多次，都沒法成功😅

[@user-ir8fr9vm4v]

輸出檔案可以嘗試使用python的open函式

[@garylin8674]

@@user-ir8fr9vm4v有唷，我嘗試爬出頁面中標題，在python print OK，但是使用open產出的txt檔，卻只帶出爬出的第一項標題...

[@angelozou3914]

我也想知道如何將某個網頁里的文字彙出txt檔，或是將網頁產品圖片進行下載並分類保存。

[@Chiewjkai]

以前不会写爬虫，我都是用火车采集器或者国内各家的采集器，其中火车采集我用的最顺手

[@look6662]

老师，可以教一下可以联机的3D游戏吗

[@GrandmaCan]

聽起來很不錯！

[@zibozhao5789]

可以发java的教学吗 😆

[@user-lp4kf4sd9v]

請問你為什麼會這麼多東西 ，是天才嗎？

[@charlieed6264]

+1也想知道怎麽快速學習一門新技術

[@StoneGameTW]

因為他阿嬤都會

[@ikugo9837]

他阿嬤教他的

[@user-lz3tv4wz4d]

程式阿嬤

[@yuan_meng_meng9385]

哈喽，可以讲一下在上个视频中（自动下载instagram图片案例）是如何变成exe执行程序，通过双击运行的么？求教

[@user-zu8pt8ef3u]

pyinstaller 打包就可以囉

[@yingdazo]

我在post那邊會出現 405 Method Not Allowed Method Not Allowed The method is not allowed for the requested URL.

[@royalchou6579]

請問論壇留言中文就不成功，是哪裡的問題呢？

[@christopheryourtw4999]

好影片，不推嗎?

[@skydivingclub]

微模拟软件可以非常容易实现这些功能

[@meowazu7551]

有教學對我們這些小白而言才有意義

[@skydivingclub]

@@meowazu7551 确实，学技术只能学这个，那个软件只是写脚本，不用编程，学不到技术，只适合偷懒的人。

[@user-ln3xf1uy8n]

小白為什麼我已FB發文都無法找到以上的東西QQ

[@user-zu4nx5vj7j]

要看的课程也没找到啊

[@手冲]

看了一遍，基本上都没有做什么反爬，算基础的了

[@ogamiogata300]

剛剛才發現 小白23歲嗎？

[@user-ld6on7oq7d]

台灣師範大學

[@user-ld6on7oq7d]

去年畢業

[@imsean8573]

字幕pls

[@user-to9yh7js2m]

想聽c#

[@q0sul3sul3]

試了推特就不行了...

[@user-ud3rk5nw3z]

這樣子真的不會有法律問題嗎

[@hellokitty7399]

他也不知道你是誰啊

[@user-ud3rk5nw3z]

@@hellokitty7399 喔喔 ip之類的查不到的意思嗎

[@sptoo123]

說不定網路上還真的都是阿嬤用python發的文

[@user-vn4yk9ki7n]

1450教程....😀

[@etify7306]

pathetic

[@user-zy6xs4fq4h]

請問小白，如果用network找到資料的網址，丟到瀏覽器網友上寫internal server error這樣要怎麼爬去網頁呢？

[@user-zy6xs4fq4h]

請問小白，如果用network找到資料的網址，丟到瀏覽器網站上寫internal server error這樣要怎麼爬取網頁呢？

[@user-zy6xs4fq4h]

請問小白，如果用network找到資料的網址，丟到瀏覽器網站上寫internal server error這樣要怎麼爬去網頁呢？

[@user-zy6xs4fq4h]

請問小白，從network取得資料的網址，丟到瀏覽器顯示internal network error怎麼辦呢？