【生成式AI】ChatGPT 可以自我反省!

感謝黃敬峰先生提供字幕
Constitutional AI: Harmlessness from AI Feedback
arxiv.org/abs/2212.08073
DERA: Enhancing Large Language Model Completions with Dialog-Enabled Resolving Agents
arxiv.org/abs/2303.17071
ReAct = Reason + Act
arxiv.org/abs/2210.03629
Reflexion
arxiv.org/abs/2303.11366

[@bearfish1999]

Chatgpt 的特色就是“勇於認錯、死不改過”

[@jeffclark9477]

😂确实如此

[@user-do7kb7td4h]

它每次道歉都很誠懇😂

[@J-eb6nd]

沒辦法，沒重新訓練的話...😂

[@helloworld_channel]

老師的詠唱：「請檢查上述資訊是否正確」 我的詠唱：「屁啦聽你在唬爛 給我道歉哦」

[@bearfish1999]

我的詠唱：你倒底在供三小！

[@terryjoun1687]

我的詠唱：毆盆唉哀泥潭嗎！（諸葛村夫泥潭嗎！）

[@simonliao5020]

教授您好, 何時有空, 方便說說 AutoGPT 或是 微軟的賈維斯嗎?

[@miku3920]

對我來說 人也是機器的一種 我直接把自己當成是 AI 在 train，感覺效果還不錯

[@Amanda-10702]

只是人能看的資訊還是非常有限

[@GoGoNow]

謝謝李老師, 上不了台大也可以聽這麼優質的課程, 之前產生代碼都不夠理想, 昨天聽到這個原來GPT會反省, 讓我想好好調教一下他 透過不斷與GPT反饋錯誤, 遇到什麼問題馬上露出胸部道歉, 讓人都罵不下去. GPT4也真的很聰明, 知道要修改哪部分, 也可以很清晰告訴你修改哪裡. 如果用的方法問題或是相依性問題也可以換方法或是lib.

[@user-nn8vb4gp4f]

🎉🎉🎉週末也有彩蛋！ 謝謝老師～

[@bcrane86]

周末晚上的驚喜!! 太棒了

[@user-tg8eu4ld5p]

我也對自我反省這個部分很感興趣！

[@xxxx3732]

好厉害啊gpt 感觉已经要接近终极了,强大的资料库+反省记忆➕开悟--人类智慧的答案

[@user-vw3pr5gq9g]

假日也來置板凳準時上課了

[@buwasoft]

課程/學術領域名稱 "自然語言處理" 應該改名叫 "電腦意識生成"

[@hyy3657]

應該還沒有意識，即使是很複雜的反應，他也搞不清楚動機，話說意識倒底是什麼，什麼又是好與壞，還有很多值得研究的

[@user-vv2yz2ht4l]

現在跟chatgpt求教都像是在審問犯人，一些錯誤都要等它明顯地自相矛盾時才能問出來

[@zzzjohnpaper]

謝謝老師分享

[@CheneyLiu]

原來Autogpt 的code 也是照論文寫出來的😂

[@alfredchen8690]

看起來像台積電這樣的科技製造業，也可以運用這項技術來改善本身的工作流程 只是該如何把這種自省能力嵌入到各個工作環節中又是個問題

[@chenlin7535]

看到将 ReAct的部分就想起了LangChain和autoGPT了，

[@femtogary3723]

老师Claude的Constitutional Al又是咋实现的?你有时间的时候可以讲讲😁

[@chunheikwok6738]

如果可以生成殘差?利用區域殘差區域連結確保詳盡?超過負值生成?但他如果添加錯誤或隱變資訊?沒用的層0也影響?

[@stan-kk2sf]

个人猜想，还有一种可能导致“反省”对llm有效果 其实llm是有能力答对大部分现在看起来考倒了它的题目的（比较简单的那些） 但是由于现在llm的训练目标是拟合人类，所以模型把人类犯错的思维也学习到了 导致本来有能力回答的简单问题由于是在模仿人类所以也模仿了错误的思维（概率），当然由于本来就能回答所以也可以续写反省之后回答正确的答案 所以我猜测，"reflexion"的效果其实不是看上去字面上的样子AI在思考，而是对llm进行一个“你接下来应该正确的回答我，因为你已经错过一次了”这样的prompt 之前有看到有人说chatgpt犯错之后会解释说“其实是自己不小心打错字了”，有人笑它是在扯谎，我觉得很有可能是从回答开始它就随机采样到了“模拟一个不小心犯错的人类”的概率分布上😂

[@anonymous1943]

哈哈 只是做beam search的时候选了第二概率而已 如果问“请检查上述答案是否正确，如果正确请说明正确在哪里“ 那道歉完就依然回答一个和上面错的一模一样的答案， 因为否定词出现的太少没触发更换概率的权重

[@___Q-bot]

老師，請問chatGPT 是如何模仿某人的寫作風格? 例如我叫他寫一篇莎士比亞風格的日記etc. 他是如何被train 到能夠這樣，他inference時，又是如何做的？

[@user-jz3lw5ps8q]

謝謝

[@qaz10102030]

老師好，想敲碗 Segment Anything Model 介紹，謝謝~

[@432v01]

請問這是不是代表openAI根本不需要雇用血汗勞工標註有害言論，只要讓AI自己做reflection就好？

[@hhkk2742]

請問老師所講的課程指的是什麼？ 16:57

[@xaviertsai4063]

上課啦~

[@chenwilliam5176]

ChatGPT 師承蘇格拉底 ❤

[@fightentropy]

李教授，有什么技术可以突破LLM 的token长度限制吗？

[@___Q-bot]

在ChatGPT已經提供了正確答案的前提下，叫他檢查一下答案， 他會不會改成錯誤的答案?

[@user95279]

本身还是利用ab两个样本推理分析逻辑是否自恰。或者换个方式，直接告诉他要描述事实，也可以控制第一个问题结果。

[@ericmao0910]

8:14 突然感覺，這可能就是GPT中的「和諧」了

[@incendioraven4269]

这react看样子感觉就是autogpt

[@billyharrinton4885]

人跟AI講話前都得先想想才不會出事

[@barty0310]

会不会所谓「反省」出来的结果，只是 llm 的随机性带来的？

[@leedavid5214]

chatGPT不是不联网的吗？它如何检查出错误，它靠什么参照呢？

[@chenwilliam5176]

ChatGPT 不曉得什麼是對，什麼是錯， 如何「自我反省」😮

[@leowang11]

工讀生給我出來喔!

[@kmkisgreatt]

Interesting

[@user-rh1sw6ji6t]

這是不是就是 AutoGPT ?

[@tan2tan2]

20:40 trail 應該是 trial

[@HungyiLeeNTU]

感謝你，我確實拼錯了

[@walklook4k]

如果重新开一个对话窗口，把之前的题目再发给他，是会出现正确的答案呢，还是之前的错误答案？

[@chenwilliam5176]

其實它只會使用最優化的策略「接龍」， 提到「花」，就會給一大堆 有關花的訊息，這不一定是 用戶想要的😢 它不會計算或解方程式😊

[@user-rh1sw6ji6t]

希望能說明一下最近很火的 Vector Database

[@chenlin7535]

感觉是多少年前有的技术了，

[@jizhiguo]

❤

[@paulsui1273]

何時能幫我炒番茄炒蛋？

[@flyingfish7787]

14:10 AI”答案是42!!”

[@anonymous1943]

让LLM解数学本来就是很滑稽的事情，一般做法只需要instruct小模型读懂题，对应列出方程，7B就可以完美实现，接着让模型把公式给SciPy,导数不等式什么的都轻松解决

[@bugmoonlist]

汗顏, 我到現在都還沒有學會自我反省， 只會跟對方互噴垃圾話。

[@chenwilliam5176]

只要告訴 ChatGPT 它錯了 ，不管是真錯還是假錯 ， 它都會道歉， 一點意義都沒有 😢

[@Haichen._.]

可以理解成GPT有說謊能力嗎，明明就知道正確答案還要我質疑他才告訴我

[@chenwilliam5176]

好難用，還要告訴它錯在那裏，要是用戶不會解代數方程式，豈不是得到一個錯誤答案？！🤔感覺它只是一個尚未完成的產品😢 在它尚未成熟前，還是用Google 吧，若 Google 沒有答案，問學過代數的 親朋好友吧❤ 😢 就像自動駕駛，除非真的 L5 等級的無人全自我駕駛FSD 系統上路，那才真的有意義，只要會操作平板，就可以使用車輛，❤ 特斯拉自動輔助駕駛據說 還會跟人類駕駛員搶方向盤的主控權，這是一件非常危險的事情😢 （Wolfram Alpha 應該可以提供答案 ❤）