【生成式AI】窮人如何低資源復刻自己的 ChatGPT

[@HungyiLeeNTU]

可以拿來訓練自己的 ChatGPT 的資料集 (由台灣大學學生 Eric Lam 整理) github.com/voidful/awesome-chatgpt-dataset/

[@PenutChen]

這個應該置頂一下

[@l501l501l]

伸手牌問一下，如果自己訓練ChatGPT，用Pytorch train完model，最後的model也會是一個Pickle檔(.pt) 嗎? 然後要使用model的時候(inference)，也是initiate後load model，才能開始使用嗎? 我在想如果考量到所有model相關的成本，"小資族"在cloud service開始使用model，除了training的費用，可能還要考慮host這個model的成本(e.g AWS: S3 storage cost, EC2 computation cost). 又或著6~13B size的model，在16GB的ram 可以直接載入，在本地端使用?(抱歉我只使用過BERT，所以希望有人可以提供經驗討論一下，謝謝

[@耘子]

謝謝Eric拯救比較窮的人

[@morningstarkalis]

你有沒有興趣加入一個即將提交"發明專利申請書"的核心團隊? 我需要你的專業 我也會提供你的費用 我相信你看過我的發明專利申請書後 你會有極大的興趣

[@carloshsueh9195]

好像沒開打賞功能，不然我真的都想交學費了。感謝老師的整理跟提供insight，這幾篇文章要我自己讀完跟整理最快最快也要兩三天，老師跟團隊讓我們不到半小時就學完了，請收下我的膝蓋 orz

[@willy7703]

您兩三天就可以整理完 我覺得也是快啦XD

[@郭子-e7w]

希望老師可以出完整的線上課程！

[@hchsu4765]

謝謝老師拯救比較沒有錢的窮人

[@hyy3657]

老黃：我知道你還有錢買我的顯卡

[@yonhlai]

难道还有比较有钱的穷人😂

[@uartim]

比較窮的有錢人

[@xaviertsai4063]

上課啦~ 我覺得老師上的課很適合拿來當通識課。淺顯易懂。

[@蓝狐]

老师太贴心了，买不起 A100 的穷人很感动

[@mibo._.]

17:10 Vicuna 看起來表現好的原因會不會只是因為，這個評分標準偏向 Vicuna 當時訓練的 metric，都是使用 GPT-4 來衡量

[@HungyiLeeNTU]

我覺得你說的蠻有道理的，如果當初 Vicuna 訓練的過程中有用 GPT-4 的衡量結果來選擇模型訓練的 hyperparameters，那使用GPT-4 衡量模型會對 Vicuna 有利

[@PenutChen]

投影片上秀的 Vicuna 參數量是 13B，但 LLaMA-GPT4 的參數量是 7B，這應該也有影響

[@heeheehaha45]

李老師好， 有兩個想討論的話題： 1. 語言模型可以用自己生成的答案，變為訓練的數據嗎？如果可以，只要放著他們不管，他們自己也會越變越聰明啊 2. 如果有人把自己的模型放在區塊鏈的智能合約上，對比OPENAI的模型的輸出作訓練，這算不算在法律上抵觸了OPENAI的term of use? 如是，誰要負上責任？區塊鏈上都是無明的。。。 謝謝！

[@simonliao5020]

第一次看到字幕。👍👍👍👍👍

[@pang-jungliu3663]

說是窮人但仍然是有錢的窮人….

[@run963741]

最後再把所有 LLM 做 ensemble，LLM 練蠱比賽開始

[@nameno7725]

13:30 self-train 成本

[@nvsrf]

现在已经可以 disable chat history, allowing you to choose which conversations can be used to train chatGPT models.

[@chenlin7535]

🥳李老师什么时候讲讲LLM的评估？ 感觉太多的营销号鼓吹轻量模型什么什么能和ChatGPT抗衡，但是有没有系统的评估数据

[@帮涨油管粉丝]

很喜欢你拍的视频

[@nking99t]

我感觉最麻烦的是整理数据的部分？ 假设弄个MedLLM，怎么整理医疗数据。需要很多domain knowledges

[@BoChengSu]

話說如果有一點點小錢的話可以去Azure tune一下自己的GPT模型哦🤩

[@蒂蒂-f7o]

許願成功了~謝謝老師~~~🥳🥳🥳

[@fishyang2453]

比較有錢的窮人🤣

[@ansonchang4196]

謝謝老師

[@j1992624]

建議換一個麥克風，或是上個cc字幕，感謝

[@Weiweii1120]

算是符合主題

[@Jack-sk9hy]

牛哇牛哇😂 我正在想这个问题！

[@小輔-y3l]

看完以後才知道羊駝有那麼多英文單字...

[@rayk5097]

老師都不用休息嗎？😂

[@hhkk2742]

大赞🎉❤ 13:30

[@chaower6958]

please help. 請問Dolly 2.0 是NAR還是AR model??? ??? 我看pythia 是拿GPTNeoX來training的感覺是AR model。問cha它老兄跟我說Dolly2.0是NAR。 還是Dolly 2.0是hybrid的?

[@chaower6958]

補充一下: 我是想應用NAR 的model像是BART。如果Dolly 2.0 在NAR的領域內表現優可以取代BART，也算是解惑大半了。感謝好心人士的回覆。

[@llrabel]

真是太有趣了！

[@corezhang9353]

请教一下，这个有没有完整的教程

[@bryanshen4930]

生產製造機器設備可以數位雙生!那有領域專業的專家是否也可以有一個數位副本?

[@yuyi9978]

請問老師如果想參加這些專案需要什麼技能呢？因為本身沒有學過這方面

[@star95]

老師 請教那個ChatGPT復刻下來的模型有多大？ 好奇要多大硬碟存儲。 另外一個問題，知識庫的內容部分都已經存在模型裡了嗎？ 復刻下來的模型可以斷開Internet 在內網裡正常工作嗎？

[@aliendog5134]

1.刻下來的模型多大要看你用什麼pre train model 2.不太懂你這問題是什麼意思 3.模型載下來基本上就是在你的電腦了 你要部屬到哪裡都可以

[@chenwilliam5176]

我是窮人，沒錢 購買 ChatGPT 服務 😢 還是使用 Goggle 😅 熟練後，還是可以 「快速根據自己的意思」 生成報告&論文😃 ---------------- 而且 OpenAI CEO 已經要我們 忘記 ChatGPT-5 😢😢😢😢😢

[@Dream-xr7ls]

現在有 4 pro 了，想必4 pro pro 指日可待

[@柯議翔-d5g]

最後說的那東西不會有 overfitting 的問題嗎

[@thisismuffinmuffin]

可是在使用chatgpt當老師的時候不是還是會有資料外洩的問題嗎？

[@bbcc2960]

awesome 7:40

[@zhongzhongclock]

标题改一下：如何通过大只的“草泥马”生成一头小只的“草泥马”，这样可以吸引更多的观众

[@drnmss3860]

这吸引的不是精准用户……

[@德寜生活]

I Love you❤

[@yi-erliao468]

訓練完如果沒在訓練，要那麼大的算力嗎？

[@majaja7368]

為什麼不跟chat gpt 一樣用網路上的文章訓練，而是要透過chat gpt呢?

[@aliendog5134]

因為chatgpt的資料量非常大 想要自己造一個基本上不太可能 所以就透過 知識蒸餾的方式 來達到復刻的目的

[@haoli6628]

就像是Sheldon😂

[@zhengyaolu3893]

是不是有点像Meta Learning

[@hsiaosai1120]

簽到

[@shenseanchen]

感谢Lee老师! 受教

[@zhzhang9660]

老师能分享PPT吗

[@dandelionsdontfly6422]

出个手把手的教程吧😭

[@the_fluffychan]

「比較有錢的窮人」 😭

[@飛鴻-q1c]

哈哈哈哈哈，总不能自己造电脑 gpu就是了

[@s.alikecool8728]

他們是比較有錢的窮人 14:25

[@葉某人-n3q]

窮人==無法購買數萬組GPU的人

[@hsuchechun9113]

還是不夠有錢😢

[@mcluke8092]

LLM重新定义穷人

[@曾生-c8w]

是不是我太弱智了，我完全聽不懂😂

[@incendioraven4269]

比较有钱的穷人哈哈哈哈

[@yray]

墙国能复刻么😂

[@kouenshi7926]

不能換好一點的錄音設備嗎....??????這品質聽3秒就想關掉?????????

[@godmaxspeedpot1502]

免費的還嫌

[@TankNSSpank]

666

[@四文魚-s3m]

讓別人幫你跑不好ㄇ GPT共用PLUS才75台幣 阿..我不是窮人是乞丐

[@35教官]

開頭不是有說，沒看？

[@tl7955]

看不懂可以不用留言😌

[@Nick167507]

在說你是窮人/乞丐之前，邏輯先修好吧

[@迎月柳]

你懂個屁啊

[@bers6034]

省流：chatgpt自问自答自评价。

[@KenHsiehTW]

謝謝老師