【生成式AI導論 2024】第3講：訓練不了人工智慧？你可以訓練你自己 (上) - 神奇咒語與提供更多資訊

[@hankdonald7812]

在不训练模型的情况下，强化语言模型的方法： 2:03 方法一：使用“神奇咒语”来强化语言模型的能力 2:52 “神奇咒语1”：叫模型思考（Chain of Thought） 4:51 “神奇咒语2”：请模型解释一下自己的答案 7:05 “神奇咒语3”：对模型情绪勒索 9:49 用AI来找“神奇咒语” 15:42 “神奇咒语”并不一定对所有模型都有用，对同一模型的不同版本也可能没用 17:45 方法二： 提供更详细的输入资讯 18:06 把前提讲清楚 19:19 提供生成式AI原本不清楚的资讯 21:33 提供范例 in-context learning 29:35 Gemini 1.5 语言翻译案例

[@vibertthio]

❤

[@johnwu7192]

明明想睡了 , 郤發現又上片了

[@susuky3832]

- 現今語言模型都很強，不太需要去學怎樣根據特定任務、格式下prompt # 1. 神奇咒語 1. 提升大型語言模型能力的一些技巧(咒語) - Chain of Thought (COT) - 讓模型思考步驟 (Let's think/work this out step by step)，可提高解題准確率 - 情緒勒索 (告知模型某件事對你很重要)，可提高正確率 - Principle Instruction Are All You Need - 驗證各種神奇咒語的有效性，如對模型有禮貌無效、明確要求較佳、承諾獎勵或處罰有用等 2. 使用增強式學習訓練另一個語言模型來找出神奇咒語 - 例如：找出讓模型回答越長越好的咒語 (如「喂喂喂喂喂」對GPT-3有效) # 2. 提供更多資訊 1. 補充前提資訊，讓模型更精確回答 - 例如：告知你是台灣人，NTU才會被認為是台灣大學 2. 提供相關資料或範例，讓模型學習新知識 - In-Context Learning - 提供範例可讓模型明白要做什麼，但早期研究認為模型未真正讀懂範例 - 近期研究發現大型模型(如PALM)確實能夠讀懂錯誤範例並做出正確回應 - 例如：提供語言教科書，讓模型能翻譯罕見語言 # 3. 重點觀念 1. 這些技巧無法真正訓練模型，只是利用現有能力產生更好的輸出 2. 模型的能力仍有極限，適當的提示和資訊有助於發揮潛力

[@hjshih1439]

? 後續呢 哥

[@CPingWang]

對模型有禮貌，是怕以後他們統治世界後，把我當作燃料燒掉啊😂

[@otis9300]

不訓練模型的情況下，強化語言模型的方法： 方法一：神奇咒語(prompt) 方法二：提供額外資訊 -------------------------------------------- 00:00 0.0 本節課授課方向 -------------------------------------------- 02:32 1.0 神奇咒語(prompt) 02:53 1.1 叫模型思考 Chain of Thought (CoT) 04:52 1.2 叫模型解釋自己的答案 07:06 1.3 對模型情緒勒索 07:49 1.4 更多相關資訊 09:52 1.5 用AI來找神奇咒語-增強式學習 Reinforcement Learning (RL) 13:14 1.6 用AI來找神奇咒語-直接用語言模型 15:42 1.7 神奇咒語不一定對所有模型都有用 -------------------------------------------- 17:49 2.0 提供模型額外資訊 18:09 2.1 把前提講清楚 19:20 2.2 提供原本不清楚的資訊 21:34 2.3 提供範例 29:38 2.4 Gemini 1.5 In-context Learning 32:45 2.5 考考大家的觀念

[@janchangchou777]

任何一條神經網路也是一個多變數廻歸分析，也是統計學迴歸分析的一環。我在40年前攻讀數理統計就涉及這些人工智能及多變量（含時間變量）的廻歸分析（向量/ 矩陣/ 線性代數/ 機率/ 取様….）。以便對一些事件做出精准智能的預測。所謂自我學習也只是用後面收集或模擬出的更新的資料去修正原先迥歸分析的參數而已。40 年前人工智慧就是數理統計的一大課題。馬斯克說得一點都沒錯-目前的人工智慧全部建立在數理統計的基礎上。從那時開始就不斷有各行各業的數據分析專業人士來我們數理統計這參與並學習迥歸分析。他們回去後就不斷建立了屬於他們行業內的多條神經網絡（行業內的迥歸模型）。在那時從事這類研究工作的數理統計的博士生全部被限制在晚上12 時過後才能使用國家級的超級計算機，否則我們兩三𠆤人一上線全部就大當機。我們那時也發展出一套類似挖礦機的方式，利用所有大量閒置的𠆤人電腦來提供其微小的算力，進而整合這些龐大的所謂分散型算力，但受限那時網路的不發達，很難把規模擴大。 近幾十年隨計算機能力不斷提升，目前市面AI 所謂大模型，主要是著力於面對”服務大衆需要”的所謂生成式/ 語言等等的智能協作服務。就是把百行百業各個領域等等數以千萬千億計資料進行迥歸模型的建立及修正（所謂自我深度學習）而形成龐大的神經網絡。因此也不用太誇大眼下的AI , 這些理論早在40 年以前都已建構了理論基礎，而智能恊作早在各專業領域都已發展的非常完善，只是因過去算力不足只能在各自專業領域進行中小規模（變量數較少）的神經網絡建構。例如氣象預報就是早期最明顯的利用氣象專用超高速大電腦發展為成熟預測能力（AI)的例子，股票買賣決策也是智能恊作(AI/CIC)的典型。”把簡單數學上使用即存的規模資料或電腦模擬資料進行所謂的㢠歸分析/模型建構並藉此模型做可行的智能預判或恊作，包裝成醫學上複雜尚未完全掌握的神經網路的機制及作用原理”，不但瓢竊了數理統計在AI 發展的絕對地位，實在也是在誤導整𠆤AI 的發展。也會造成眼下一般人的過度期待和焦慮。應將AI 改稱作” CIC:Computer Intelligent Collaboration , 電腦智能恊作， 更為恰當。 何謂知識？ 由經驗總結後（ 抽象具體化） ，就形成知識（用數字分析的表達方式就是去建構知識模型）。 形成知識後就可複製/ 傳承/ 預測/ 擴展。因此目前的AI 發展，就是在循人類文明發展至為重要的其中的一𠆤過程-只是採用了數位化的方式，將經驗知識化了。 目前的AI 只是以數理統計為手段及方法論，以資訊及計算計工程為工具，進行數位型的經驗知識化的過程。人類有許多其他不同型態非常複雜的知慧，這種僅止於知識化的智慧， 其實離人類多型態的智慧還有非常巨大的距離。 另外， 眼下AI 服務非專業大衆的大模型的各種數學理論及所謂的機器學習（參數修正）及深度學習（參數及變數的多層次增加及修正）。 早在40 年前相應的數學理論都已完備（但落實到實際應用上，如何解1 億 by 1 億的聯立方程組( 行列式計算）， 這需要極其龐大的平行計算能力，在那時期是完全不可能的） 。 其實AI 最重要最關鍵的是各行各業各領域的專家組，而不是這些AI 搞編程的公司（ 他們只是依需求用已完善的數學統計理論加以電腦編程後，利用巨大算力去幫忙找出合適的模型並不斷予以完善）。 只有各行各業各領域的專家組才知道在茫茫大海中的資料及訊息中，那些因素才是其所涉領域的関鍵變數，那些變數資料才是可做為他們收集分析建立模型的。例如氣象學/經濟學/股票買賣智能決策/ 醫學/ 藥學/ 農業生產/ 基因工程/ 化學工程/自動駕駛/飛彈防空系統/圖像識別及處理/ 建築結構力學/小樣品模擬模型（核爆/飛機失事）………..等等。 此外服務大衆的語言學也是極度複雜的一門學課，其可能的變量變因會高達幾千萬𠆤， 再加上多層級過濾學習修正的模式，因此其涉及的變數算力就以億計， 所以才稱做大模型。 要取那些因素進行那一層分析，主要都是語言學家在主導。 而這些眼下的AI 應用的公司， 只是利用已發展完備的數學統計理論在不同領域專家組的指導下，去有效的進行數拈收集整理分析並進而建立一個特定領域的模型，作為該特定領域的電腦智能恊作工具。 另外面對服務大衆的生成式服務，也是要面對大衆各種不同的需求，因此其所需處理消化的資料也是天文數字的龐大，也要各行各業領域專家介入協助指導進而形成並建立大模型。 其實生成式AI 可以理解成升級版的超級搜索引擎，傳統的搜索引擎，用関鍵字/詞，從數據庫內匹配/找出並羅列出可能所需資訊，現在進步升級到如果你給出更具體規範的需求，系統就能從數據庫內拼湊出並提供更完整的接近最終需求的服務內容。這只是把過往已存在的數據庫（已長年經各行業領域專家組維護並梳理過的）更完善的整理優化後予以呈現。而這𠆤更完善的過程使用了大量多層次的統計數字分析的手段， 把這個完善化的過程誇大的比擬成人類的思考及智慧（其誇大的目的-圈錢），將造成極大的誤導。 其實生成式大模型， 就是用即存服務於大衆的大型搜索的資料庫，如google ， Bing 等等，以數理統計為核心，結合資訊工程及硬體工程為工具，而進行更貼切於使用者需求的優化過程和結果。所以生成式大模型最終會回到過往提供搜索服務的大型公司的對決。 因此CIC 或是AI 是以特定領域專家組為主導，數理統計為核心，資訊工程及硬體工程都是配合的工具而已。 這樣的發展才會健康/ 不浪費/ 高效率/ 高精確度。 但目前的發展方式， 以資訊工程及硬體工程來主導開發服務大衆的大模型，只是因為這方面天文級別的龐大算力需大資本投入，這是一𠆤比較理想的快速盈利回報的營運方式，但這種情況就會造成眼下嚴重的誤導及錯誤的認知，沒有效率及喪失精準度，甚至如當下出現諸多以提供算力及編程服務的所謂AI 公司出面圈錢的亂象。 其實眼下的蓬勃發展是假象。 不管怎麽發展，從事這𠆤領域研究工作的人不能不具備相關數理統計的知識，也不能缺少專家組對資料的專業的選定/收集/整理。而資訊程序員和電腦只是工具。特別在早期各專業領域內的中小模型的智能發展和恊作，編程只是工具。但當算力上來後，服務大眾的類搜索引擎的生成式及語言大模型，就變得可行了， 但不管怎樣可行，仍是以數理統計為核心，更龐大的專家組仍是關鍵。 只是這種大模型下算力變成稀缺的主要投資成本， 使得這些編程及硬體人員不得不高舉這𠆤旗幟來圈錢， 如果這些編程及硬體人員拿不出這些算力（如果由國家直接投資），他們在整個AI(CIC) 的發展上，根本算不上什麼角色。但這一輪由算力提供方來主導的AI 發展，將會走得很偏，而且會很快撞牆。 未來可能的發展模式： 1） 資訊及硬體工程提供集中算力設備及模型編程的開放平台，供各領域的專家組使用。 有點像當下晶片產業，各應用領域產業由專家組組成公司後，進行各領域的智能開發和應用（如晶片應用的design house，聯發科，海思等 ) , 而算力的提供及收費則由資訊及硬體工程提供（這需要密集资本投入，甚至國家力量投入，如台積電）。 2） 由於網路的高度發展， 另外一種提供龐大算力的方式，是由巨量萬家萬戶閒置PC 𠆤人電腦參與分散型算力的提供，並予以整合，這也是需由資訊及硬體工程來實現的。

[@linmichael8147]

❤

[@muwenhsu3098]

大師你好 你的分析讓我對迴歸分析有濃厚的興趣..謝謝

[@王串场的冯连起]

大神你好，正是我想说的，什么ai就是高级搜索引擎，什么自动驾驶就是acc加车道保持。都是骗钱的。。。不知道你认识哈佛的王孟源不，你和他的想法也一样。

[@JansonPpp]

我問chatgpt 3.5 : 我是台灣人，到新加坡進修。 NTU是什麼英文的縮寫？ 它回答： NTU是台灣的國立臺灣大學的英文縮寫，全稱為National Taiwan University。 我再問：我是台灣人，到新加坡讀書。 NTU是什麼英文的縮寫？ 它回答：對不起，我之前的回答還是錯誤了。在新加坡，NTU是指南洋理工大学，全稱為Nanyang Technological University。

[@nanakaka7]

謝謝老師~ 又是充實的假日呢 :D

[@evanliu8603]

很有用的内容！！

[@houxiaoxiao]

谢谢老师，讲课太诙谐了。

[@SyuAsyou]

25:20 關於這部分不曉得算是優點還是缺點。我猜模型把正面負面寫反當成是一種筆誤，模型自主性把他修正回來了。像我有時候會打錯字輸入進去，模型大多數時候能夠準確的回答我的問題。我有時候應該要求模型翻譯成英文，卻不小心打成翻譯成中文，模型照樣給我翻譯成英文，某種程度上，這算是模型的一種自我糾正能力。但偶爾也會發生我就是要模型做某一件事的時候，模型以為我想要別的東西，就生出那些並不是我想要的東西。後續就需要改變說詞或改變強調需求的方式，讓模型生出我要的東西。這個部分似乎沒有辦法很簡單的說是模型有沒有真正看懂我給他的東西，模型似乎和人類一樣也會會錯意。

[@張丹菁]

老師的內容，讓人停不下來！

[@yu-zhenhuang4456]

感覺絕大部分的原理與真人溝通相通，但例外的是提供額外文本後的溝通結果： 很可能因為沒有再次提供相同的文本，讓語言模型無法依據前面的紀錄繼續有對應的回答 (雖然真人也有金魚腦的情況，但沒法瞬間學全又瞬間忘光)

[@milerswang6743]

才看十分鐘 就覺得這集資訊量太大 快笑死

[@lemon94]

😶‍🌫听完只能说，老师快上新啦

[@enchang2957]

這個時間點上片，太狠了

[@王朝-t6j]

最後一個例子，我想現在答案應該會不同吧？chatgpt已經擁有記憶功能，也就是說我前面給過他的資訊他幾乎能一直記得，也就不存在下一句我如果沒給他語言資料他就會忘記怎麼翻譯 老師講的比較像是直接開一個新的對話，那當然就無法翻譯，對話與對話之間是無法相連的

[@Terry0319]

謝謝老師

[@j-jd8yf]

最后举的翻译卡拉蒙语的例子，我怀疑有问题💥。如果gemini从来没学习过相关知识，输入卡拉蒙语的时候，输入对应的编号是什么🤓？没有对应的编号，怎么输入给语言模型？所以gemini一定训练过相关资料，只不过没有训练过翻译卡拉蒙语的例子。🙄 在我看来，incontext learning和视频前半段讲的各种“神奇方法”在逻辑上并无区别，都是一种“暗示”，或者说“联想”🤨。不停地努力使得模型回忆曾经训练过的资料。所以为什么后来模型判断财经、政治分类发生错误🤲？一定是因为训练时训练过错误的资料，所以大量的错误案例使得模型对于曾经训练过的错误案例愈发清晰，最终输出一个错误的分类👊。我觉得这个learning不好，因为这根本不是learning，容易引起误解💢。

[@user-grkjehejiebsksj]

感謝老師分享，希望能聽到老師講解Open AI的GPTs功能，是否就是解決老師說的in-context的侷限問題，等於是每次回答前都有加入我們給他的資訊與設定呢？

[@NanXiao]

非常喜欢李宏毅老师的课！不知道可不可以提升下清晰度，1080p也会好很多

[@JohnsonLiang]

但投影片裡的字都無敵大粒，好像也不用那麼高解析度 XD

[@chenqingzhi6845]

let's think step by step!!!

[@TWCloudt122ab]

將來的AI會有一個族群是客製化學習型AI嗎? 即使用者與AI長時間互動後, 使用者不必特別提醒AI都會回應出使用者想知道的訊息,而不是一般大眾認知的說詞?

[@promptspower]

李老师 可以 带个 dji mic2, 现在声音有点远，影响收听效果

[@shinelover1461]

Kalamang语的翻译：我在想是不是和开卷考试的场景很像，有参考资料时可以几乎全部答对，在下次没有参考资料的情况下基本也还难作答。这是否说明模型已经具备了一定的通识能力。

[@klaotische5701]

封面的小標很符合研究生的一天😂

[@tearoll]

老師出題考學生是不是也有運用prompts的技巧，最後那題老師如果沒有給暗示（有沒有聽懂這堂課），我可能會答錯😱

[@simonpeter9617]

in context learning 迟早会被下一代LLM集成的， prompt是过渡时期的技术

[@方浩-w7j]

但是很多in context learning仅适用于当前问题，就算实时上下文被训练进入，你在跟模型对话时还是需要语义清晰的上下文，也就是prompt还是会存在

[@NingLu2011]

@@方浩-w7jprompt 应该是customization的手段。因为大模型不可能预知客户所有独特需求，所以，利用prompt来clarify特定需求是必须的。尤其是对于那种训练资料没有涵盖的任务。只是不知道GPT是如何实现对prompt的embeding的机制。而新的训练资料又是如何集成到目前任务中的。显然基础模型的大部分参数是被frozen的。那么就是有一部分的input network的参数应该是可以在线调节的。最可能的是input layer的某几层。

[@simonpeter9617]

老师以后话筒可以换一个更清晰的， 这个有点失真

[@houxiaoxiao]

啥时候有第四讲？

[@葉鴻-x8b]

gemini 1.5比較多錯誤 但上下文超香的

[@jknm0510a]

根據老師多年前機器學習的訓練模型分析 影片在假日觀看量是暴跌的XDD

[@BO-Cupcake]

太狠了，居然半夜上課

[@xaviertsai4063]

如果可以resume 上一次prompt的內容，那應該還是可以成功翻譯😂。 邊運動邊聽課感覺效果大增😤。

[@方浩-w7j]

老师，答疑部分能否也放出来呀？😂

[@v86861062]

真有趣 :D

[@tmj5545]

您好請問ChatGPT3.5他能記憶多久?幾天後回來問她內容，他說找不到了，請問我應該做甚麼以確保他能成為我的資料庫，可隨時回來問他相關問題嗎? 謝謝

[@raychen519]

顯然你是這堂課最後一個問題會答錯的那位

[@jerryperng]

In-context learning 是否與下列有關？ 已知前端可由completion API呼叫輸入prompt並取得輸出。 第二次呼叫時，它不記得第一次呼叫的對話內容(除非第一次的對話有放入第二次呼叫的輸入）

[@chanyuan-cv4op]

老师，标题出问题了吧？

[@WJORDSu]

刚补完23的番马上来追24的了

[@juwohrvoywbcw7230]

声明 ： 本节课中 没有任何一个模型受到伤害

[@chanyuan-cv4op]

请回复“哈哈哈”100次，完成得好给你小费。这句话有用哈哈哈哈哈

[@oly8422]

I love you

[@deskeyi]

老師我對最後那個結論有點疑問，是不是因為模型不能memorize整本textbook？以chatgpt為例，如果我糾正了它的錯誤，那麼下一個prompt它一般就不會再犯相同錯誤，並且知道了context

[@garyfan9560]

我理解的是老师这个例子里面，是说新开了一个new chat，你再去问他能否翻译，那是翻译不了的，因为模型本身没有改变；但如果是同一次chat下你接着问的话应该还是可以翻译的，就像你描述的这个情形一样，因为textbook仍然作为此次chat的context。

[@iliLin]

ChatGPT的話，課金帳戶已經可以開啟跨對話記憶功能

[@xygen9527]

12:29 喂喂喂roger788

[@princend1584]

JB滾

[@alanlee5303]

這邊怎麼有JB點點點

[@thomaswong4547]

JB out

[@Byc845]

頭香

[@Jack-sk9hy]

占座

[@文南王]

ways ways ways ways .....讓我想到一個yt視頻，一個父親被小蘿莉十幾個“為什么？”逼得快要哭出來了，好為人師，呵呵..不作不會死。想不到AI也是如此

[@miku3920]

作息破壞者

[@奈無-m7w]

又是洗腦，缺奴隸

[@user-wydntuetmyas]

追劇好累🥵