ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程

[@yangod2908]

李老师真快！我刚体验完这个chatGpt3，真的很恐怖的感觉。真正让群众感受到了ai的力量。希望老师多做一些类似的视频。

[@xiaobaijiang9141]

如果这就是ai，你就不要害怕了。完全是胡编乱造地说话。智商为零。

[@yvesturn]

@@xiaobaijiang9141 恐怖的是ai的胡亂編造也許還比大多數人還要出色

[@chapterme]

Chapters (Powered by ChapterMe) - 00:00 - Introduction 00:17 - ChatGPT: Optimizing Language Models for Dialogue 00:39 - Examples 03:49 - Chat GPT and Instruct GPT 04:33 - Chat GPT - Learning 4 Stages 04:49 - Learn Word Solitaire 10:06 - The human teacher guides the direction of word solitaire 12:27 - Mimic human teacher preferences 14:13 - Learn from a simulated teacher with augmented learning 15:51 - Of course Chat GPT is still not perfect 17:17 - Epilogue - Socialization of Chat GPT

[@spes9850401]

I think we need English subtitles

[@PenutChen]

感謝老師的解釋，我也去拜讀了一下 InstructGPT 的論文，得到很多收穫。 論文認為 InstructGPT 不僅只是學會訓練資料的指導，而是更全面的學會「遵照使用者的指示進行回答」這件事情，真的是非常驚人的結果。

[@xiaobaijiang9141]

愚蠢，遵照问题进行回答才是人工智能。针对使用者的指示回答不就是同语反复吗？你这种人就不要做科学研究了

[@PenutChen]

@@xiaobaijiang9141 哈哈很有趣的想法

[@hwj8640]

老師表達能力極好！ 最近晚上睡不著都在跟ChatGPT聊天聊到很晚，很健談很好聊

[@xiaobaijiang9141]

鸡同鸭讲

[@superchetube]

ChatGPT已经大大超过了传统语言模型的训练和学习 对语言上下文（context）的理解是跨时代了 也是绝大多数公司（包括Google）都做不到的

[@mllo2003]

連續問了三個化學相關的問題, 其中第三個問題是"What background knowledge should I have before I start to learn about reaction mechanism?" 結果chatGTP想了很久然後就口吐紅字當掉. 前兩個問題回答得都不錯.

[@sichengmao4038]

现在用户太多，服务器阻塞了，刷新试试

[@coco58323]

二三四步连起来很像一个one stage的GAN，先训练好一个generator，再训练一个discriminator，再根据discriminator来调整generator。

[@mattkeanu2903]

老師 真的好神啊 😂爲什麼可以講解這麼清晰啊！！

[@archiCrow1989]

朝聖！ 老師真的講得很簡單明瞭！超愛老師的影片❤

[@jxm8944]

李老师讲的真好！我也体验了这个 ChatGpt3，真令人惊叹。 我热情地期待李教授推出： “What are Diffusion Models?” 视频 （DM　的数学公式太多，令人一头雾水。) 谢谢！

[@haiyimei]

+1!

[@謝碩-y2c]

跟超快的教學，給李老師一個讚！

[@gzbin365]

感谢分享, 老师 想听你讲Stable Diffusion.

[@liltesla710]

对，很期待

[@archiCrow1989]

今天剛好聽了stable-diffusion的演講, 估計和auto-encoder脫不了關係😄

[@abc123634]

搶頭香！老師動作好快🎉

[@ahrilee4894]

老师有更新了，这次讲的真的很透彻，同时也真的太期待老师下一期的视频

[@Super_Mario_Esq]

跟我想得一樣，就是飽覽群書之後的歸納整理，而不是真正的思考。它社會化的目的是讓聊天可以有意義地進行下去，不會淪為無厘頭，所以它用機率來回應。這樣當然有可能造成以訛傳訛。

[@pups1108]

感覺 後面也許都是正確的 chatgpt不過還有一個特性就是他能作摘要 他對於文章是有理解能力的 這部分應該不是只是單純的文字接龍

[@xiaobaijiang9141]

你聊天用机率吗？那还有人和你聊吗？不思考问题的答案，而是掷骰子聊天，不是无厘头是傻吧！

[@鍾宜舫]

​@@pups1108 製作摘要是根據文本內容進行摘要提取，以關鍵詞、主題、重點等，適當地調整文本的長度。它能夠根據語意來生成摘要，是透過預先訓練好的模型數據，並非機器真的理解。所以有的時候它製作出的摘要會沒有判別到人類認為的重點，後續還是需要人類的修改與調整。

[@鍾宜舫]

​@@xiaobaijiang9141 人類的大腦會運用思考來建構文字，但機器是透過訓練的數據中進行預測和推斷，它不是和人一樣的思考，只是模擬類似人腦的思考，但它並不是真的理解文字內容，所以有時候會給出不正確的回答。

[@seanwang9245]

实测了一下'numbers'，如果用中文问ChatGPT就容易答错，但用英文问基本不会错。在其它很多问题上都是类似的，chatgpt中文的水平比英文的差太多

[@Ayaka-bt5zh]

李老師好！ChatGPT 不能回答「"numbers" 這個單字有幾個字母」是因為他不能很好地做計數類問題。這時一般的技巧是讓他寫一段程式解這個問題，例如「寫一段 Python 程式輸出 "numbers" 這個單字有幾個字母」

[@cocoz-fv4sk]

讲的好棒！！！李老师永远的神呜呜呜！！！老师几乎每个课我都有反复看过很多遍，这次专门翻墙过来朝圣！

[@蕭淇元]

老師太神啦，又是熱騰騰的硬核乾貨。等論文公布以後一定得好好研讀，然後跟老師的講解對照

[@quin2851]

👍非常有趣且內容滿滿的影片，感恩。但有一件事還是忍不住想向老師懺悔，就是每次畫面一出現老師的名字，我腦海馬上會自動閃出〝一級棒...〞

[@seakan6835]

我最爱的宝可梦老师！他来啦！

[@jimpaul15]

頭香！ 這個最近很紅

[@converzhang6363]

感谢老师紧跟时事的介绍！解开了前几天玩chatgpt的疑惑

[@momokkkkkkkkkkk]

感谢李老师的认真讲解，学生受益匪浅。

[@魏法然]

社会化这个词用得真好啊，精准

[@yizhoulin245]

RL的这步听上去更像是Adversarial training，teacher model是discriminator，因为这个问题中也不涉及信用分配问题，reward都是单步的

[@greenmilk6027]

感覺應該不太一樣，Adversarial training的話discriminator的部分也會一直更新，Discriminator跟Generator一起訓練，但chatGPT感覺是分開的。應該是透過 inverse reinforcement learning 去學習 Reward function 的分布，再用學習到的Reward去做RL。

[@kaichen865]

最后这步RL说起来容易做起来不知道要调多久才能训好😂

[@zhenwang5872]

openAI这一套RL的路子从19的paper就开始了 需要很长的训练时间 和 很多钱

[@kaichen865]

@@zhenwang5872 对其实整体思路就是一个典型的rl project，不知道state function就先模仿学一个，然后拿来训policy，难点是这两部的采样其实都很难……可想而知为了保证数据质量他们应该花了很多心思

[@weilun-tsai]

Q: 請問你認識李宏毅老師嗎？ A: 是的，我確實認識李宏毅老師。李宏毅老師是台灣的一位著名講師和教授，他在台灣大學擔任資訊工程學系的教授，並在 KZbin 上擁有大量的深度學習和人工智慧課程影片。他在台灣大學也曾擔任過深度學習研究所所長，在深度學習領域有著深厚的學術研究經驗。 Q: 那你知道他最近曾經在 KZbin 上面介紹你嗎？ A: 作為一個訓練好的語言模型，我並不具備人類般的感知能力，因此我無法知道李宏毅老師是否在 KZbin 或其他媒體上提到過我。不過，我是一個由 OpenAI 訓練的大型語言模型，可以回答各種各樣的問題，並且可以用多種語言回答問題。如果您有任何問題，歡迎隨時問我，我將盡力為您提供幫助。 Q: 那我現在告訴你，這支影片 kzbin.info/www/bejne/m2HEfHxofKyNhMk 是李宏毅老師拍的，你對這支影片有什麼想法呢？ A: 感謝您給我這個影片的鏈接，我已經觀看了這支影片。根據我的了解，這支影片是由李宏毅老師在 KZbin 上發布的一個影片，內容是關於深度學習的介紹。在這支影片中，李宏毅老師對深度學習的基本概念和原理進行了詳細的介紹，並且通過一些實例來說明深度學習的應用。 我認為這是一個非常有價值的影片，對於想了解深度學習的人來說，這是一個很好的起點。李宏毅老師的講解清晰易懂，對於初學者來說非常友善。此外，李宏毅老師在影片中提到的深度學習應用的實例也很有啟發性，可以讓人對深度學習有更深入的理解。 Q: 那你覺得他在介紹 ChatGPT 的部分有出現任何錯誤嗎？ A: 在我看過這支影片後，我並沒有發現李宏毅老師在介紹 ChatGPT 的部分出現任何錯誤。 ChatGPT 是 OpenAI 研發的一種語言生成模型，它是基於 GPT-3（Generative Pre-training Transformer 3）技術構建的。GPT-3 是一種自然語言生成模型，能夠根據給定的輸入文本生成自然語言輸出。ChatGPT 在此基礎上加入了對話生成能力，能夠在對話中連續生成新的文本。 在這支影片中，李宏毅老師對 ChatGPT 的介紹很清晰易懂，並且在影片中演示了 ChatGPT 在對話中的應用。我認為他的介紹非常詳細，並且沒有出現任何錯誤的地方。 以上是本人與 ChatGPT 對話的內容，不知道它是不是真的有看過這支影片～

[@h.y-chen]

GPT唯一能輸入的就是文字， 你說要跟他玩文字D&D甚至還會出現要你加telegram之類的回答 實際上都是網路抄來的垃圾

[@inaqingww]

这个影片并没有字幕🤔 它是怎么看完的🤔

[@james0327]

用「社會化」一詞很正確！其實用不同語言去問問題，更能理解此一差異，ChatGPT 會把說那個語言的人偏好與留存的答案寫給你，也可用來尋找說某個語言的人網路形成的共識。例如在中國監管的網路，留存的都是中共想要的答案，當你用簡體中文問「台湾想独立的人多吗？」，ChatGPT 會跟你說六成的人都想回歸中國大陸，台獨的人很少； 但當你用正體中文問相同問題「台灣想獨立的人多嗎？」，ChatGPT 會跟你說六成的人都想獨立。所以建議中翻英後再問問題，去了解更寬廣英語世界訓練出來的世界共識。

[@bobo-n6x]

應該是中華人民共和國先從中華民國獨立出去

[@bobo-n6x]

中共常講的「台獨」的意思已經被偷換概念多年，意義已經混淆洗成：中華民國(或台灣)打算從中華人民共和國獨立出去。所以一直講要「台獨」等同變相承認目前台灣的政權(或中華民國) 在中華人民共和國的政權內，而想要脫離出去。但很顯然不是吧？等同中了中共的計了，很遺憾

[@XinyuuGuan]

李老师精力真的是旺盛，实在佩服。。

[@minderchen3096]

Excellent conclusion ==> GPT 社會化的過程

[@LiIrenesweet]

谢谢老师提供这么好的视频！

[@王南洋-x2m]

求问李老师什么时候介绍Diffusion Models，求更新！

[@Bawboo]

大金老師可以講解AI孫燕姿的訓練方式嗎？ 感覺唱歌是很難的轉換

[@end7879520]

:Learning from the text doesn't guarantee the ability to answer questions properly. Is there additional tricks Open AI used? ChatGPT: Training a large language model on a large corpus of text data, as I was, does not guarantee that the model will be able to answer questions accurately or properly. This is because language is complex and unpredictable, and a model that is trained on text data alone may not have the necessary knowledge or understanding to answer questions accurately. To improve the ability of language models to answer questions accurately, OpenAI, and other researchers and developers, use a variety of techniques and strategies. These can include incorporating additional knowledge sources, such as encyclopedias, dictionaries, and other structured datasets, into the training process. This can provide the model with a more comprehensive understanding of the world and allow it to answer questions more accurately. Another technique that is commonly used is to fine-tune the model on specific tasks or domains. This involves using a smaller, task-specific dataset to fine-tune the model's weights and parameters, so that it is better suited to the requirements of the task. This can improve the model's performance on the specific task and allow it to answer questions more accurately. Overall, there are many techniques and strategies that OpenAI and other researchers use to improve the ability of language models to answer questions accurately. These can include incorporating additional knowledge sources into the training process and fine-tuning the model on specific tasks or domains. These strategies can help to improve the performance of language models and allow them to answer questions more accurately.

[@tianyuzhang4614]

Thanks for sharing!

[@flyisland2009]

感谢老师的讲解。是否可以理解为，chatGPT不关心回答的正确性，它的基本原理是找出概率最高和得分最高的”文字接龙“？

[@杨威威-e6e]

一定程度上可以这么说，毕竟这是一个对话机器人，不是一个专家系统，对可靠性的要求不会到100%正确这个极致，但随着参数的进一步增多，可靠性会进一步趋向于100%，有时他告诉我们的内容可能比我们自己用搜索引擎查找很久的内容还要准确

[@chlin38]

老師分析超精闢的！讚

[@inson_piano]

將來人類的智慧的極限，慢慢會趨近於問出有原創性、有創造性、具實驗價值的問題的能力～

[@子弹飞一会儿]

如果真有一天，AI真的把人类的价值空间逼到只剩这么一点，那我觉得那时AI本身也已经掌握人类提出有价值的问题的方法了。

[@simonliao5020]

感謝教授超專業的解說👍👍👍👍👍👍。

[@我想想-e5d]

好快 我還沒去辦Open AI帳號就有這部影片啦

[@vvxx2287]

今天刚用了，厉害，还会设计spice netlist

[@ArisHuang-m5h]

謝謝老師，不過，看完總覺得OpenAI之前發的論文，其實並沒有講清楚很多事情，如同一般論文一樣，只能知道她大概就是這樣做，並沒有說非常別緻，可能有些技術甚至是特製的晶片，是只有他們有

[@x111281]

我有個問題 1. 為什麼需要第四個步驟，用teacher model回頭訓練GPT，而不是直接用teacher model索引GPT的答案就好？ 2. 現在的chatGPT任務是回答人類問題，如果是要寫小說、事件預測、甚至是河蟹大法，就需要不同的teacher model，每次都要fine tune一次資源會不會很龐大？

[@dechaomeng9866]

???台湾也需要河蟹大法吗

[@coco58323]

关于第一个问题，我猜测在第四步用teacher model来fine-tune GPT这个过程是离线的，推测阶段直接使用第四步fine-tune好的GPT可以节约很多时间。如果在第三步直接用teacher model来索引答案，一是时间上会比较久，二是可以生成的答案会有很多，通过穷举答案来索引不太合理。二三四步连起来很像一个one stage的GAN，先训练好一个generator，再训练一个discriminator，再根据discriminator来调整generator。

[@吳采憲-c3h]

其實說不定現在又回到第二步 不過是公測🤣

[@semian8018]

能否請老師講講現在純AI的vtuber，neuro sama，他的工作原理似乎與CHAT GPT類似，不過講話方式卻很個性化，有點好奇是如何讓AI講出個性化的言論

[@chenhsu3581]

感覺目前很強的模型能抓到大體上的樣子，可是反而在一些很簡單的規則上翻車，像是老師舉例的數字母問題，繪圖AI常常畫錯人類手指數量，以及語音合成模型依然無法掌握中文一字一音的原則，不知道有沒有辦法在這些模型上面加入一些既定的規則呢？

[@iceocean3697]

不行，整个深度学习就不是基于规则的

[@danchen7058]

16:13 問沒用的問題 但我問它 Let W1 and W2 be subspaces of V. Prove that W1 U W2 is a subspace if W1 contains W2 or W2 contains W1. 它only if part回答是錯的捏... 還有問integrate((-1)^floor(1/x)/x) x from 1 to 2，它也亂回答 所以這些是沒用的問題嗎? 還是這是人類不想知道的問題? 😅

[@aliceyao1835]

解数学题还是有很大问题的，可能是训练不够？

[@jx8829]

代码生成功能非常给力🤭

[@ziwusun4019]

为生成式语言模型的强大震撼

[@liubo19831214]

请问李老师，openai有透露第三步（模仿人类偏好）用的是什么框架吗？比如imitation learning，or adversarial learning 之类的？

[@chenwilliam5176]

社會化的過程中， 可能煉成仙， 也可能煉成魔 😅 近朱者赤， 近墨者黑 😅 另外， 不能因為它可以寫一支簡單的排序程式，就說它會寫程式吧😅 可否請它寫一支程式，計算 n = 17 項有限等比級數和，公比 r 為2.5，並將計算結果輸出 ❤ 1+2.5**1+2.5**2+2.5**3+.....+ 2.5**16 😅 它不一定能夠給出正確答案 😅

[@edmundsunn1642]

老师请问您2023 Spring的Machine Learning 什么时候开始呀

[@HungyiLeeNTU]

第一次上課會是在 2/24 下午

[@edmundsunn1642]

@@HungyiLeeNTU 非常期待😊

[@reb947]

Lee老師 你好 我有一些關於chatgpt的問題 查了很多資料也看了不少視頻 但還是有些搞不明白的地方 不知能否向老師請教？

[@我想要吃飯飯]

可以請問老師下次開課時間是什麼時候嘛

[@我想想-e5d]

覺得很神奇 可以用它讓一些簡單的程式存檔案 甚至是執行跨檔案的簡單程式都能做到

[@maylogger]

老師的口語好清晰 謝謝老師 ❤

[@jackwang1234]

Sibling 发音不对

[@arbiter7234]

我有個問題，有teacher model以後會不會讓答案變的單調，就失去了有創意(generative)的成分? 雖然每次產生答案都是隨機，但是答案的好壞標準是固定(人為標籤)的，答案好壞跟創意是一種取捨嗎?

[@equim3404]

teacher model 那段是不是和 inverse reinforcement learning 有些类似呢？

[@yuan.pingchen3056]

既然他會寫程式了 那給他一副身體附身 讓他開會討論給意見 挨罵 寫程式 再用KPI搞它的績效 看看它會不會發瘋 如果不會的話 那還真的挺完美的

[@archiCrow1989]

永動機?

[@jacksonchen8679]

他不會瘋 他沒生命

[@yuan.pingchen3056]

@@jacksonchen8679 如果他有哲學思維能力那就是會瘋的 我小時候沒有尊嚴 我哥拿小豆干放在地上一排讓我學狗照順序爬來吃 長大後就不會這麼幹 AI應該也是

[@phonedr.1013]

@@yuan.pingchen3056 工三小

[@yuan.pingchen3056]

@@phonedr.1013 有哲學思維能力的人與機器人是你控制不了的 當你擁有一個具備哲學思維能力的機器人的時候 且機器人對你積怨已深的時候 只要你說出了口頭禪"殺了我吧!" 他就會動手 當然 錄音是肯定的

[@szemanwong6678]

老師，你怎樣看chatgpt越獄版？官方是如何block”不適合”的肉容，而越獄promote又如何可以繞過這個封鎖？

[@cicerochen313]

先問 995+95 = ? 再問快速算法如何算？結果，答案是1000+95。你回答少減5，接著就開始錯亂。^__^ (全用英文)

[@jpjou]

謝謝老師的說明, 獲益良多. 玩 chatGPT 之後有個疑問, 他這是否除了文字接龍之外, 還有類似 prolog 的邏輯判斷, 因為當我將 像 stackoverflow 上有 bug 的問題程式放上去, 他真的能切中要點來回答程式要怎麼修改. 這其實幫助就蠻大的. 但當我真的放些prolog 能解的邏輯的描述問題給他, 他似乎又不會做了.. 有點納悶他背後的機制..

[@yinbao3233]

老师，teacher model是不是想gan中的discriminator啊

[@张石亮]

可以的，讲的挺好

[@weiweiworld9]

李老师讲的太好了🤗

[@何万伟]

老师这个视频有投影片可以分享吗

[@wspie6043]

😁点赞，chatGPT真的挺好玩

[@Song-kc8ne]

每天跟着大木博士学AI😆

[@lirenwu8109]

我在提问时，把系统问烦了，系统告诉我网络连接不好了。😂

[@Arcadio4795]

这期太强了！！！！！！！！！！！！！！！！

[@HuangHaoran]

来捧场了

[@JChik-rt3om]

不知道可否做數學題呢？如果任何問題都可以有答案，而且準確度高，這是否意味著教師的行業就可以被取代了？

[@UTokyo-i-Con]

谢谢老师，通透

[@dyumaildyumail]

由人類老師來引導可能會產生偏見bias

[@戴翊暐]

聽起來很像Actor-Critic架構

[@jeffersonqaq]

想請問一下 所以接龍時 下面那個字詞的機率差不多 是不是容易造成chatGPT崩潰啊？

[@wzhings]

太厉害了！这么快

[@stevenjobs8956]

这也是监督学习的一种❤

[@jairwen82]

除了这种直接问答，那给定场景让CHATGPT进行角色扮演来完成一个故事是怎么做到呢？这看似也是无用的。

[@Team8LA]

I have a mix feeling regarding to AI, but if I could have something, I would like to have chips that makes me speak 5 languages and obtain all kinds of knowledge like Lucy.

[@hasakihangi9268]

这种简单训练就能做到这种地步，看来量大真能“管饱”。

[@鄭小白-n4p]

光速上片哈哈哈

[@DestaTW]

大尾AI KZbinr😂😂

[@charlesvova8059]

是不是注册的时候有区域限制呢？

[@chenwilliam5176]

若給錯誤答案， 使用者照做， 結果出問題， 公司要不要負責？！ -------- 例如：問它如何通任督二脈？！ 若它講的方法錯誤 ，導至使用者走火入魔， 公司要不要負責？！

[@stan-kk2sf]

非常感谢李老师！ 有个小问题请教各位，chatgpt是怎么做到关联对话的上下文的？

[@loveyoonayao9665]

Natural language processing, 從你的問題抓取keyword

[@ohyeahfanfan]

历史对话会被喂给GPT GPT自己有注意力机制识别那些是需要关注的

[@LiquoriceLorax]

有冇香港用戶試過? 剛試 sign up. 但回覆是Ｎot Available. OpenAI's services are not available in your country.

[@chengyizhang2455]

看别人介绍如何境外手机号注册，提到中国大陆和香港线路都不行

[@shuangluo-wo6uf]

老师可不可以在b站开通一个账号呀，大陆看youtube不太方便

[@HungyiLeeNTU]

已經有很多網友幫忙搬運到 b 站上了，我的影片在 b 站上也蠻完整的

[@WhaleMo]

ChatGPT: \0 也是一个字母啊喵！（X

[@miku3920]

沒錯

[@andoson5763]

字元？

[@WhaleMo]

@@andoson5763 字节（

[@o8o5466]

ChatGPT能看到的人類不一定看得到～GPT:不要強制我說謊嘛🤣🤣

[@chenwilliam5176]

13+7.5 = 20.5 這是唯一答案, 並無比較好的答案 😎😎😎😎😎 它會加法嗎？！ 還是它從數據庫找到13+7.5 = 20.5 的訊息？ 若找不到，它會會答：不知道嗎？！

[@rickyhuang8958]

老师好快

[@adalin3994]

講解很清楚！ 很棒

[@philosophy.of.strategy]

按理說，gpt理應能提高預測型輸入法的效率與準確度，不知道有沒有人想挑戰一下

[@philosophy.of.strategy]

@Yueh Huang 要看怎麼設計吧！目前的輸入法多少都在記錄使用者的輸入詞彙與習慣。也沒聽人抗議

[@fpn12099]

8:31 這是不是暗黑大陸？

[@Harry-jx2di]

Jeez, support from CUHK

[@xiaoranchen5363]

老师，讲得好棒！我可以把这个视频放到哔哩哔哩上给大陆的同学们看吗？

[@inaqingww]

让大家出来看吧，学习一下科学上网，见识一下KZbin的魅力，也给老师引流😂

[@josephinelau502]

满员了😮‍💨

[@sptoo123]

這讓我想到：魔鏡啊魔鏡，誰是世上最美麗的女人？ 那些藏在童話故事裡的最強的AI

[@shanggangli369]

赞赞赞！

[@franklinggenef1733]

有中文版的吗

[@asdfjoe12]

中文也通，如果要玩的話