ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程

Рет қаралды 274,270

Hung-yi Lee

Күн бұрын

Пікірлер: 216

@PenutChen Жыл бұрын

感謝老師的解釋，我也去拜讀了一下 InstructGPT 的論文，得到很多收穫。論文認為 InstructGPT 不僅只是學會訓練資料的指導，而是更全面的學會「遵照使用者的指示進行回答」這件事情，真的是非常驚人的結果。

@xiaobaijiang9141 Жыл бұрын

愚蠢，遵照问题进行回答才是人工智能。针对使用者的指示回答不就是同语反复吗？你这种人就不要做科学研究了

@PenutChen Жыл бұрын

@@xiaobaijiang9141 哈哈很有趣的想法

@yangod2908 Жыл бұрын

李老师真快！我刚体验完这个chatGpt3，真的很恐怖的感觉。真正让群众感受到了ai的力量。希望老师多做一些类似的视频。

@xiaobaijiang9141 Жыл бұрын

如果这就是ai，你就不要害怕了。完全是胡编乱造地说话。智商为零。

@yvesturn Жыл бұрын

@@xiaobaijiang9141 恐怖的是ai的胡亂編造也許還比大多數人還要出色

@hwj8640 Жыл бұрын

老師表達能力極好！最近晚上睡不著都在跟ChatGPT聊天聊到很晚，很健談很好聊

@xiaobaijiang9141 Жыл бұрын

鸡同鸭讲

@chapterme Жыл бұрын

Chapters (Powered by ChapterMe) - 00:00 - Introduction 00:17 - ChatGPT: Optimizing Language Models for Dialogue 00:39 - Examples 03:49 - Chat GPT and Instruct GPT 04:33 - Chat GPT - Learning 4 Stages 04:49 - Learn Word Solitaire 10:06 - The human teacher guides the direction of word solitaire 12:27 - Mimic human teacher preferences 14:13 - Learn from a simulated teacher with augmented learning 15:51 - Of course Chat GPT is still not perfect 17:17 - Epilogue - Socialization of Chat GPT

@spes9850401 Жыл бұрын

I think we need English subtitles

@mattkeanu2903 Жыл бұрын

老師真的好神啊 😂爲什麼可以講解這麼清晰啊！！

@archiCrow1989 Жыл бұрын

朝聖！老師真的講得很簡單明瞭！超愛老師的影片❤

@mllo2003 Жыл бұрын

連續問了三個化學相關的問題, 其中第三個問題是"What background knowledge should I have before I start to learn about reaction mechanism?" 結果chatGTP想了很久然後就口吐紅字當掉. 前兩個問題回答得都不錯.

@sichengmao4038 Жыл бұрын

现在用户太多，服务器阻塞了，刷新试试

@jxm8944 Жыл бұрын

李老师讲的真好！我也体验了这个 ChatGpt3，真令人惊叹。我热情地期待李教授推出： “What are Diffusion Models?” 视频（DM　的数学公式太多，令人一头雾水。) 谢谢！

@haiyimei Жыл бұрын

+1!

@superchetube Жыл бұрын

ChatGPT已经大大超过了传统语言模型的训练和学习对语言上下文（context）的理解是跨时代了也是绝大多数公司（包括Google）都做不到的

@ahrilee4894 Жыл бұрын

老师有更新了，这次讲的真的很透彻，同时也真的太期待老师下一期的视频

@謝碩-y2c Жыл бұрын

跟超快的教學，給李老師一個讚！

@Ayaka-bt5zh Жыл бұрын

李老師好！ChatGPT 不能回答「"numbers" 這個單字有幾個字母」是因為他不能很好地做計數類問題。這時一般的技巧是讓他寫一段程式解這個問題，例如「寫一段 Python 程式輸出 "numbers" 這個單字有幾個字母」

@蕭淇元 Жыл бұрын

老師太神啦，又是熱騰騰的硬核乾貨。等論文公布以後一定得好好研讀，然後跟老師的講解對照

@quin2851 Жыл бұрын

👍非常有趣且內容滿滿的影片，感恩。但有一件事還是忍不住想向老師懺悔，就是每次畫面一出現老師的名字，我腦海馬上會自動閃出〝一級棒...〞

@momokkkkkkkkkkk Жыл бұрын

感谢李老师的认真讲解，学生受益匪浅。

@Super_Mario_Esq Жыл бұрын

跟我想得一樣，就是飽覽群書之後的歸納整理，而不是真正的思考。它社會化的目的是讓聊天可以有意義地進行下去，不會淪為無厘頭，所以它用機率來回應。這樣當然有可能造成以訛傳訛。

@pups1108 Жыл бұрын

感覺後面也許都是正確的 chatgpt不過還有一個特性就是他能作摘要他對於文章是有理解能力的這部分應該不是只是單純的文字接龍

@xiaobaijiang9141 Жыл бұрын

你聊天用机率吗？那还有人和你聊吗？不思考问题的答案，而是掷骰子聊天，不是无厘头是傻吧！

@鍾宜舫 Жыл бұрын

@@pups1108 製作摘要是根據文本內容進行摘要提取，以關鍵詞、主題、重點等，適當地調整文本的長度。它能夠根據語意來生成摘要，是透過預先訓練好的模型數據，並非機器真的理解。所以有的時候它製作出的摘要會沒有判別到人類認為的重點，後續還是需要人類的修改與調整。

@鍾宜舫 Жыл бұрын

@@xiaobaijiang9141 人類的大腦會運用思考來建構文字，但機器是透過訓練的數據中進行預測和推斷，它不是和人一樣的思考，只是模擬類似人腦的思考，但它並不是真的理解文字內容，所以有時候會給出不正確的回答。

@魏法然 Жыл бұрын

社会化这个词用得真好啊，精准

@coco58323 Жыл бұрын

二三四步连起来很像一个one stage的GAN，先训练好一个generator，再训练一个discriminator，再根据discriminator来调整generator。

@james0327 Жыл бұрын

用「社會化」一詞很正確！其實用不同語言去問問題，更能理解此一差異，ChatGPT 會把說那個語言的人偏好與留存的答案寫給你，也可用來尋找說某個語言的人網路形成的共識。例如在中國監管的網路，留存的都是中共想要的答案，當你用簡體中文問「台湾想独立的人多吗？」，ChatGPT 會跟你說六成的人都想回歸中國大陸，台獨的人很少；但當你用正體中文問相同問題「台灣想獨立的人多嗎？」，ChatGPT 會跟你說六成的人都想獨立。所以建議中翻英後再問問題，去了解更寬廣英語世界訓練出來的世界共識。

@bobo-n6x Жыл бұрын

應該是中華人民共和國先從中華民國獨立出去

@bobo-n6x Жыл бұрын

中共常講的「台獨」的意思已經被偷換概念多年，意義已經混淆洗成：中華民國(或台灣)打算從中華人民共和國獨立出去。所以一直講要「台獨」等同變相承認目前台灣的政權(或中華民國) 在中華人民共和國的政權內，而想要脫離出去。但很顯然不是吧？等同中了中共的計了，很遺憾

@converzhang6363 Жыл бұрын

感谢老师紧跟时事的介绍！解开了前几天玩chatgpt的疑惑

@minderchen3096 Жыл бұрын

Excellent conclusion ==> GPT 社會化的過程

@cocoz-fv4sk Жыл бұрын

讲的好棒！！！李老师永远的神呜呜呜！！！老师几乎每个课我都有反复看过很多遍，这次专门翻墙过来朝圣！

@seanwang9245 Жыл бұрын

实测了一下'numbers'，如果用中文问ChatGPT就容易答错，但用英文问基本不会错。在其它很多问题上都是类似的，chatgpt中文的水平比英文的差太多

@XinyuuGuan Жыл бұрын

李老师精力真的是旺盛，实在佩服。。

@gzbin365 Жыл бұрын

感谢分享, 老师想听你讲Stable Diffusion.

@liltesla710 Жыл бұрын

对，很期待

@archiCrow1989 Жыл бұрын

今天剛好聽了stable-diffusion的演講, 估計和auto-encoder脫不了關係😄

@abc123634 Жыл бұрын

搶頭香！老師動作好快🎉

@我想想-e5d Жыл бұрын

好快我還沒去辦Open AI帳號就有這部影片啦

@Bawboo Жыл бұрын

大金老師可以講解AI孫燕姿的訓練方式嗎？感覺唱歌是很難的轉換

@inson_piano Жыл бұрын

將來人類的智慧的極限，慢慢會趨近於問出有原創性、有創造性、具實驗價值的問題的能力～

@子弹飞一会儿 Жыл бұрын

如果真有一天，AI真的把人类的价值空间逼到只剩这么一点，那我觉得那时AI本身也已经掌握人类提出有价值的问题的方法了。

@seakan6835 Жыл бұрын

我最爱的宝可梦老师！他来啦！

@吳采憲-c3h Жыл бұрын

其實說不定現在又回到第二步不過是公測🤣

@weilun-tsai Жыл бұрын

Q: 請問你認識李宏毅老師嗎？ A: 是的，我確實認識李宏毅老師。李宏毅老師是台灣的一位著名講師和教授，他在台灣大學擔任資訊工程學系的教授，並在 KZbin 上擁有大量的深度學習和人工智慧課程影片。他在台灣大學也曾擔任過深度學習研究所所長，在深度學習領域有著深厚的學術研究經驗。 Q: 那你知道他最近曾經在 KZbin 上面介紹你嗎？ A: 作為一個訓練好的語言模型，我並不具備人類般的感知能力，因此我無法知道李宏毅老師是否在 KZbin 或其他媒體上提到過我。不過，我是一個由 OpenAI 訓練的大型語言模型，可以回答各種各樣的問題，並且可以用多種語言回答問題。如果您有任何問題，歡迎隨時問我，我將盡力為您提供幫助。 Q: 那我現在告訴你，這支影片 kzbin.info/www/bejne/m2HEfHxofKyNhMk 是李宏毅老師拍的，你對這支影片有什麼想法呢？ A: 感謝您給我這個影片的鏈接，我已經觀看了這支影片。根據我的了解，這支影片是由李宏毅老師在 KZbin 上發布的一個影片，內容是關於深度學習的介紹。在這支影片中，李宏毅老師對深度學習的基本概念和原理進行了詳細的介紹，並且通過一些實例來說明深度學習的應用。我認為這是一個非常有價值的影片，對於想了解深度學習的人來說，這是一個很好的起點。李宏毅老師的講解清晰易懂，對於初學者來說非常友善。此外，李宏毅老師在影片中提到的深度學習應用的實例也很有啟發性，可以讓人對深度學習有更深入的理解。 Q: 那你覺得他在介紹 ChatGPT 的部分有出現任何錯誤嗎？ A: 在我看過這支影片後，我並沒有發現李宏毅老師在介紹 ChatGPT 的部分出現任何錯誤。 ChatGPT 是 OpenAI 研發的一種語言生成模型，它是基於 GPT-3（Generative Pre-training Transformer 3）技術構建的。GPT-3 是一種自然語言生成模型，能夠根據給定的輸入文本生成自然語言輸出。ChatGPT 在此基礎上加入了對話生成能力，能夠在對話中連續生成新的文本。在這支影片中，李宏毅老師對 ChatGPT 的介紹很清晰易懂，並且在影片中演示了 ChatGPT 在對話中的應用。我認為他的介紹非常詳細，並且沒有出現任何錯誤的地方。以上是本人與 ChatGPT 對話的內容，不知道它是不是真的有看過這支影片～

@h.y-chen Жыл бұрын

GPT唯一能輸入的就是文字，你說要跟他玩文字D&D甚至還會出現要你加telegram之類的回答實際上都是網路抄來的垃圾

@inaqingww Жыл бұрын

这个影片并没有字幕🤔 它是怎么看完的🤔

@flyisland2009 Жыл бұрын

感谢老师的讲解。是否可以理解为，chatGPT不关心回答的正确性，它的基本原理是找出概率最高和得分最高的”文字接龙“？

@杨威威-e6e Жыл бұрын

一定程度上可以这么说，毕竟这是一个对话机器人，不是一个专家系统，对可靠性的要求不会到100%正确这个极致，但随着参数的进一步增多，可靠性会进一步趋向于100%，有时他告诉我们的内容可能比我们自己用搜索引擎查找很久的内容还要准确

@王南洋-x2m Жыл бұрын

求问李老师什么时候介绍Diffusion Models，求更新！

@kaichen865 Жыл бұрын

最后这步RL说起来容易做起来不知道要调多久才能训好😂

@zhenwang5872 Жыл бұрын

openAI这一套RL的路子从19的paper就开始了需要很长的训练时间和很多钱

@kaichen865 Жыл бұрын

@@zhenwang5872 对其实整体思路就是一个典型的rl project，不知道state function就先模仿学一个，然后拿来训policy，难点是这两部的采样其实都很难……可想而知为了保证数据质量他们应该花了很多心思

@vvxx2287 Жыл бұрын

今天刚用了，厉害，还会设计spice netlist

@ArisHuang-m5h Жыл бұрын

謝謝老師，不過，看完總覺得OpenAI之前發的論文，其實並沒有講清楚很多事情，如同一般論文一樣，只能知道她大概就是這樣做，並沒有說非常別緻，可能有些技術甚至是特製的晶片，是只有他們有

@yuan.pingchen3056 Жыл бұрын

既然他會寫程式了那給他一副身體附身讓他開會討論給意見挨罵寫程式再用KPI搞它的績效看看它會不會發瘋如果不會的話那還真的挺完美的

@archiCrow1989 Жыл бұрын

永動機?

@jacksonchen8679 Жыл бұрын

他不會瘋他沒生命

@yuan.pingchen3056 Жыл бұрын

@@jacksonchen8679 如果他有哲學思維能力那就是會瘋的我小時候沒有尊嚴我哥拿小豆干放在地上一排讓我學狗照順序爬來吃長大後就不會這麼幹 AI應該也是

@phonedr.1013 Жыл бұрын

@@yuan.pingchen3056 工三小

@yuan.pingchen3056 Жыл бұрын

@@phonedr.1013 有哲學思維能力的人與機器人是你控制不了的當你擁有一個具備哲學思維能力的機器人的時候且機器人對你積怨已深的時候只要你說出了口頭禪"殺了我吧!" 他就會動手當然錄音是肯定的

@LiIrenesweet Жыл бұрын

谢谢老师提供这么好的视频！

@ziwusun4019 Жыл бұрын

为生成式语言模型的强大震撼

@semian8018 Жыл бұрын

能否請老師講講現在純AI的vtuber，neuro sama，他的工作原理似乎與CHAT GPT類似，不過講話方式卻很個性化，有點好奇是如何讓AI講出個性化的言論

@jimpaul15 Жыл бұрын

頭香！這個最近很紅

@jx8829 Жыл бұрын

代码生成功能非常给力🤭

@chenwilliam5176 Жыл бұрын

社會化的過程中，可能煉成仙，也可能煉成魔 😅 近朱者赤，近墨者黑 😅 另外，不能因為它可以寫一支簡單的排序程式，就說它會寫程式吧😅 可否請它寫一支程式，計算 n = 17 項有限等比級數和，公比 r 為2.5，並將計算結果輸出 ❤ 1+2.5**1+2.5**2+2.5**3+.....+ 2.5**16 😅 它不一定能夠給出正確答案 😅

@yizhoulin245 Жыл бұрын

RL的这步听上去更像是Adversarial training，teacher model是discriminator，因为这个问题中也不涉及信用分配问题，reward都是单步的

@greenmilk6027 Жыл бұрын

感覺應該不太一樣，Adversarial training的話discriminator的部分也會一直更新，Discriminator跟Generator一起訓練，但chatGPT感覺是分開的。應該是透過 inverse reinforcement learning 去學習 Reward function 的分布，再用學習到的Reward去做RL。

@x111281 Жыл бұрын

我有個問題 1. 為什麼需要第四個步驟，用teacher model回頭訓練GPT，而不是直接用teacher model索引GPT的答案就好？ 2. 現在的chatGPT任務是回答人類問題，如果是要寫小說、事件預測、甚至是河蟹大法，就需要不同的teacher model，每次都要fine tune一次資源會不會很龐大？

@dechaomeng9866 Жыл бұрын

???台湾也需要河蟹大法吗

@coco58323 Жыл бұрын

关于第一个问题，我猜测在第四步用teacher model来fine-tune GPT这个过程是离线的，推测阶段直接使用第四步fine-tune好的GPT可以节约很多时间。如果在第三步直接用teacher model来索引答案，一是时间上会比较久，二是可以生成的答案会有很多，通过穷举答案来索引不太合理。二三四步连起来很像一个one stage的GAN，先训练好一个generator，再训练一个discriminator，再根据discriminator来调整generator。

@dyumaildyumail Жыл бұрын

由人類老師來引導可能會產生偏見bias

@reb947 Жыл бұрын

Lee老師你好我有一些關於chatgpt的問題查了很多資料也看了不少視頻但還是有些搞不明白的地方不知能否向老師請教？

@Song-kc8ne 7 ай бұрын

每天跟着大木博士学AI😆

@我想要吃飯飯 Жыл бұрын

可以請問老師下次開課時間是什麼時候嘛

@simonliao5020 Жыл бұрын

感謝教授超專業的解說👍👍👍👍👍👍。

@szemanwong6678 Жыл бұрын

老師，你怎樣看chatgpt越獄版？官方是如何block”不適合”的肉容，而越獄promote又如何可以繞過這個封鎖？

@cicerochen313 Жыл бұрын

先問 995+95 = ? 再問快速算法如何算？結果，答案是1000+95。你回答少減5，接著就開始錯亂。^__^ (全用英文)

@liubo19831214 Жыл бұрын

请问李老师，openai有透露第三步（模仿人类偏好）用的是什么框架吗？比如imitation learning，or adversarial learning 之类的？

@end7879520 Жыл бұрын

:Learning from the text doesn't guarantee the ability to answer questions properly. Is there additional tricks Open AI used? ChatGPT: Training a large language model on a large corpus of text data, as I was, does not guarantee that the model will be able to answer questions accurately or properly. This is because language is complex and unpredictable, and a model that is trained on text data alone may not have the necessary knowledge or understanding to answer questions accurately. To improve the ability of language models to answer questions accurately, OpenAI, and other researchers and developers, use a variety of techniques and strategies. These can include incorporating additional knowledge sources, such as encyclopedias, dictionaries, and other structured datasets, into the training process. This can provide the model with a more comprehensive understanding of the world and allow it to answer questions more accurately. Another technique that is commonly used is to fine-tune the model on specific tasks or domains. This involves using a smaller, task-specific dataset to fine-tune the model's weights and parameters, so that it is better suited to the requirements of the task. This can improve the model's performance on the specific task and allow it to answer questions more accurately. Overall, there are many techniques and strategies that OpenAI and other researchers use to improve the ability of language models to answer questions accurately. These can include incorporating additional knowledge sources into the training process and fine-tuning the model on specific tasks or domains. These strategies can help to improve the performance of language models and allow them to answer questions more accurately.

@tianyuzhang4614 Жыл бұрын

Thanks for sharing!

@chenhsu3581 Жыл бұрын

感覺目前很強的模型能抓到大體上的樣子，可是反而在一些很簡單的規則上翻車，像是老師舉例的數字母問題，繪圖AI常常畫錯人類手指數量，以及語音合成模型依然無法掌握中文一字一音的原則，不知道有沒有辦法在這些模型上面加入一些既定的規則呢？

@iceocean3697 Жыл бұрын

不行，整个深度学习就不是基于规则的

@jpjou Жыл бұрын

謝謝老師的說明, 獲益良多. 玩 chatGPT 之後有個疑問, 他這是否除了文字接龍之外, 還有類似 prolog 的邏輯判斷, 因為當我將像 stackoverflow 上有 bug 的問題程式放上去, 他真的能切中要點來回答程式要怎麼修改. 這其實幫助就蠻大的. 但當我真的放些prolog 能解的邏輯的描述問題給他, 他似乎又不會做了.. 有點納悶他背後的機制..

@chlin38 Жыл бұрын

老師分析超精闢的！讚

@maylogger Жыл бұрын

老師的口語好清晰謝謝老師 ❤

@jackwang1234 Жыл бұрын

Sibling 发音不对

@我想想-e5d Жыл бұрын

覺得很神奇可以用它讓一些簡單的程式存檔案甚至是執行跨檔案的簡單程式都能做到

@arbiter7234 Жыл бұрын

我有個問題，有teacher model以後會不會讓答案變的單調，就失去了有創意(generative)的成分? 雖然每次產生答案都是隨機，但是答案的好壞標準是固定(人為標籤)的，答案好壞跟創意是一種取捨嗎?

@sptoo123 Жыл бұрын

這讓我想到：魔鏡啊魔鏡，誰是世上最美麗的女人？那些藏在童話故事裡的最強的AI

@鄭小白-n4p Жыл бұрын

光速上片哈哈哈

@张石亮 Жыл бұрын

可以的，讲的挺好

@stevenjobs8956 Жыл бұрын

这也是监督学习的一种❤

@yinbao3233 Жыл бұрын

老师，teacher model是不是想gan中的discriminator啊

@JChik-rt3om Жыл бұрын

不知道可否做數學題呢？如果任何問題都可以有答案，而且準確度高，這是否意味著教師的行業就可以被取代了？

@edmundsunn1642 Жыл бұрын

老师请问您2023 Spring的Machine Learning 什么时候开始呀

@HungyiLeeNTU Жыл бұрын

第一次上課會是在 2/24 下午

@edmundsunn1642 Жыл бұрын

@@HungyiLeeNTU 非常期待😊

@equim3404 Жыл бұрын

teacher model 那段是不是和 inverse reinforcement learning 有些类似呢？

@weiweiworld9 Жыл бұрын

李老师讲的太好了🤗

@danchen7058 Жыл бұрын

16:13 問沒用的問題但我問它 Let W1 and W2 be subspaces of V. Prove that W1 U W2 is a subspace if W1 contains W2 or W2 contains W1. 它only if part回答是錯的捏... 還有問integrate((-1)^floor(1/x)/x) x from 1 to 2，它也亂回答所以這些是沒用的問題嗎? 還是這是人類不想知道的問題? 😅

@aliceyao1835 Жыл бұрын

解数学题还是有很大问题的，可能是训练不够？

@Arcadio4795 Жыл бұрын

这期太强了！！！！！！！！！！！！！！！！

@DestaTW Жыл бұрын

大尾AI KZbinr😂😂

@wspie6043 Жыл бұрын

😁点赞，chatGPT真的挺好玩

@chenwilliam5176 Жыл бұрын

13+7.5 = 20.5 這是唯一答案, 並無比較好的答案 😎😎😎😎😎 它會加法嗎？！還是它從數據庫找到13+7.5 = 20.5 的訊息？若找不到，它會會答：不知道嗎？！

@WhaleMo Жыл бұрын

ChatGPT: \0 也是一个字母啊喵！（X

@miku3920 Жыл бұрын

沒錯

@andoson5763 Жыл бұрын

字元？

@WhaleMo Жыл бұрын

@@andoson5763 字节（

@o8o5466 Жыл бұрын

ChatGPT能看到的人類不一定看得到～GPT:不要強制我說謊嘛🤣🤣

@UTokyo-i-Con Жыл бұрын

谢谢老师，通透

@jeffersonqaq Жыл бұрын

想請問一下所以接龍時下面那個字詞的機率差不多是不是容易造成chatGPT崩潰啊？

@何万伟 Жыл бұрын

老师这个视频有投影片可以分享吗

@wzhings Жыл бұрын

太厉害了！这么快

@lirenwu8109 Жыл бұрын

我在提问时，把系统问烦了，系统告诉我网络连接不好了。😂

@hasakihangi9268 Жыл бұрын

这种简单训练就能做到这种地步，看来量大真能“管饱”。

@jairwen82 Жыл бұрын

除了这种直接问答，那给定场景让CHATGPT进行角色扮演来完成一个故事是怎么做到呢？这看似也是无用的。

@HuangHaoran Жыл бұрын

来捧场了

@戴翊暐 Жыл бұрын

聽起來很像Actor-Critic架構

@charlesvova8059 Жыл бұрын

是不是注册的时候有区域限制呢？

@Team8LA Жыл бұрын

I have a mix feeling regarding to AI, but if I could have something, I would like to have chips that makes me speak 5 languages and obtain all kinds of knowledge like Lucy.