Python爬蟲+免費10年台股 | TW-stock

[@ahong2]

很棒喔!麥克風錄音部分可以加強，影片會更好。

[@k66inthesky]

謝謝你的鼓勵! 哈哈會考慮換其他麥克風~

[@ccccc1813]

謝謝你 !你真棒!!😄

[@江富-p5l]

哇喔！博主的聲音好有磁性！

[@k66inthesky]

謝謝你XD

[@photodanny]

這個頻道怎麼沒紅，人太好。

[@k66inthesky]

謝謝支持!!! 你人也很好XD

[@叭噗バプ]

有小那、小道、日經指數嗎😮

[@k66inthesky]

@@叭噗バプ Hi你好，這是從台灣證交所爬蟲的程式，專門抓台股上市櫃股價、沒有你說的三個喔！ 而你說的三個應該可以用Python的一些library像是yfinance獲得～

[@mosuitw]

請問get_ids還能抓取代碼嗎?

[@k66inthesky]

可以唷！ 謝謝留言 和mail回覆

[@yukuotaistrading2795]

請問要使用twstock "加權指數" 和 "櫃買紙數" 的代碼是甚麼?

[@k66inthesky]

你好~加權指數的話, 我今天早上試成功的方案~(YT留言不能附圖故留言, 排版亂請見諒) 櫃買指數需要翻一下櫃買中心資料我就不附了~ 有更簡潔的做法，不過我以下是依基於v1.0寫的get_history.py去擴充。 同一支程式(get_history.py)為例: 最上方加一行: import bs4 在def main()前加以下CrawlIndex()的宣告,同時將原本的Craw()註解並多一行呼叫CrawlIndex() def CrawlIndex(df,sorted_df,months): # 下載加權指數(按月) print('開始爬蟲台指') df=pd.DataFrame() count=1 # 基於v1.0的擴充，故此處才用月。 for month in months: print('進度(按月): ', count/len(months)*100, "%(",month,",",months,")") count+=1 try: print(month) url='www.twse.com.tw/rwd/zh/TAIEX/MI_5MINS_HIST?date='+month+'&response=html' html = requests.get(url) soup = bs4.BeautifulSoup(html.text,"html.parser") #取得table並整理 data = soup.select("table")[0]#找到table df_index = pd.read_html(data.prettify())[0]#將data整理並將第1個建立成DataFrame df_index.columns=df_index.columns.get_level_values(1)#取得第2欄的標頭 df_index.columns=['日期', '開盤股數', '最高指數', '最低指數', '收盤指數'] print(df_index[0:3])#顯示前3筆資料, 測試成功! break 今早這樣就能爬蟲成功加權指數~

[@k66inthesky]

補充說明我找的加權指數的邏輯及步驟: 1.先google到證交所的加權指數 2.像這頁www.twse.com.tw/zh/indices/taiex/mi-5min-hist.html 3.上方選擇日期後按查詢 4.左上角有個html點它 5.就會發現url組成: url='www.twse.com.tw/rwd/zh/TAIEX/MI_5MINS_HIST?date='+month+'&response=html'

[@yukuotaistrading2795]

@@k66inthesky 1. 感謝您撥空回覆 2. 依我理解 您的意思應該就是: twstock 不提供加權指數 必須從其他網站如證交所來獲得

[@k66inthesky]

​@@yukuotaistrading2795 對的 twstock v1.0 設計時不支援加權指數。 但您的留言給我啟發，故我特別寫了加權指數，您可以照上述這串我留言的程式碼複製貼上至指定位置就可以下載加權指數。 未來也許待我有空再整合至Github~

[@yukuotaistrading2795]

​@@k66inthesky 感謝您的回覆及提供code

[@ekan30]

爬蟲能不能爬到三竹的完整app程式並加入以開盤價為基準往上及往下自動抓取各3個最接近當日開盤價的歷史價格

[@k66inthesky]

您好，三竹這種民間公司的股價資料背後也是來自爬蟲證交所資料。 想請問為何不直接爬蟲證交所資料呢？

[@k66inthesky]

補充回答原問題，我沒有使用過三竹的網頁版，個人最近也沒在看台股轉加密貨幣。但若三竹有出網頁版，理論上可以用類似影片中的Python程式爬蟲抓下你要的資料~ 當然會需要改一點程式碼，主要是欄位萃取和request是否允許。 但我覺得為節省您的時間，下載前先確認三竹是否會擋request，畢竟他們是商人，可以商用為什麼要免費給人下載XD若您需要他們應該也有出相關收費API 這也是為什麼我爬蟲台股五價資料會證交所~

[@ekan30]

@@k66inthesky 你好我是個初學者，感謝你無私的回覆

[@k66inthesky]

不客氣 我也感謝你的留言 希望有幫助到你

[@ekan30]

@@k66inthesky 請問你也是懂股票的對嗎？