【生成式AI導論 2024】第7講：大型語言模型修練史 - 第二階段: 名師指點，發揮潛力 (兼談對 ChatGPT 做逆向工程與 LLaMA 時代的開始)

因為本週五是 NVIDIA 的團隊來演講，但本週要公告作業五了，為了要讓課程內容可以銜接作業五，我把本週五預定要講的課程內容先行錄影上架。下週是清明連假，所以停更。
投影片：drive.google.c...
延伸閱讀：
LLaMA 2: arxiv.org/abs/...

[@susuky3832]

1. 語言模型修練分兩階段: - 第一階段: 自我學習, 通過網路上大量文字資料進行預訓練(Pretrain), 獲得複雜規則與知識 - 有利於微調transfer learning，並提供舉一反三的能力 - 第二階段: 通過人類標註的instruction fine-tuning資料, 發揮語言模型潛力 2. 第二階段 - Instruction Fine-tuning: - 人類準備標註資料(問題+答案)供模型學習 - 讓模型按指令給出正確回應 - 關鍵在於使用第一階段預訓練的參數當作初始參數 - 可使用 Adapter(如 LoRA)技術穩定參數 3. 打造專才 vs. 通才: - 專才: 針對單一任務做 Fine-tuning (translator, editor等)，如BERT - 通才: 使用多種任務資料做Instruction Fine-tuning 4. Instruction Fine-tuning資料收集: - 重點在於高品質的 Instruction Fine-tuning 資料 - 直接收集真實使用者問題並標註答案勝過死板範本 (OpenAI的做法) - 對ChatGPT等大型模型做逆向工程, 生成問答對 (廣為使用) - 資料品質較不佳，但總比沒有好 5. 實驗結果顯示Instruction Fine-tuning: - 不需要大量資料，兩萬多筆甚至數千比足矣 - 對小模型進步尤為顯著 - 使模型穩定且能好好回答問題 6. Llama模型的釋出,使個人/小團隊都可以訓練自己的大型語言模型 - Stanford的Alpaca、一群聯校打造的Vicuna等模型應運而生 7. 代碼實作部分在作業5和作業6將使用Llama模型進行Fine-tuning

[@HenryHuang9217]

早8課已經過時了 早3的課才是王道

[@miku3920]

看完調一下參數，剛好天亮睡覺

[@andrewwu7370]

老師你的這堂課就是我的酷東西！

[@zackqu7367]

老师好！在KZbin上偶然遇到了老师的课，真是太幸运了。您的课程为我开启了一扇大门；

[@sichengmao4038]

今天有幸在学长的phd答辩会上知道李老师，没想到您还制作了这么多科普视频，好厉害！

[@hankdonald7812]

0:12 第二阶段：名师指导，发挥潜力 2:02 资料标注，督导式学习Supervised Learning 4:30 督导式学习的标注资料往往太少，成本又太高，不能使语言模型正确回答各式各样的输入问题，所以必须把第一阶段Pre-train训练出来的参数，当作第二阶段Instruction Fine-tuning的初始参数，这样才能确保经过两轮训练后的语言模型准确应付各式各样的输入问题。 9:26 Adapte可使第二阶段Instruction Fine-tuning后得到的参数与第一阶段Pre-train后得到的参数非常类似，并减少运算量。 13:08 正是因为模型在Pre-train中学到了非常复杂的规则，所以模型在经过Instuction Fine-tuning后，就有了很强的举一反三能力。 13:49 以Multi-BERT为例，说明大语言模型的举一反三能力可以有多么夸张。 16:30 Instruction Fine-tuning的两条路线之一：打造一堆专才。 19:42 Instruction Fine-tuning的两条路线之一：直接打造一个通才。 30:41 Instruction Fine-tuning不需要大量资料。是画龙点睛。高品质的Instruction Fine-tuning资料可以通过对chatGPT逆向工程获得。 35:38 Meta的开源大语言模型LLaMA可以作为每个人训练自己大语言模型过程中Instruction Fine-tuning的初始参数。

[@panzhang1406]

李老师的课好棒

[@user-qf2fm4js1z]

真有趣

[@u4rr837]

“Lamma 飛入尋常百姓家”笑死XD

[@Terry0319]

謝謝老師

[@xaviertsai4063]

周更已經不能滿足我上課的慾望了😉

[@wuhaipeng]

太棒了这集。谢谢分享！

[@jiezhou-bz5ik]

啊，我可太喜欢李宏毅老师辣！最爱听老师的课！

[@JC-dj1dt]

其他的没看懂，但至少我知道台湾最高的山是哪座了

[@不具名人士-l4q]

作息破壞者...半夜聽到睡著起床再繼續聽🤣🤣

[@黃柏熏-w8z]

想請問在 16:27 說到【即使用英文進行fine-tuning，對於回答正確率仍有78%的正確率】。但就圖表而言，把沒有Pre-train資料的QaNet，拿去跟有104 language pre-train資料的BERT model進行正確率比較，會不會失去比較的效果呢？ 如果【即使用英文進行fine-tuning，對於回答正確率仍有78%的正確率】這句話要成立，是不是應該要有一筆沒有fine-tuning、一筆英文fine-tuning，而經郭微調的模型有顯著提升，才可以成立呢？否則會不會其實BERT在經過pre-train後就已經有78.8%的正確率呢？ 這僅僅是一個新手的看法，希望有大佬可以回答~~~謝謝

[@hefuwei]

想問老師：老師這幾年有發佈機器學習還有生成式AI課程影片，對於初學者來說需要從2021年的課程學過來嗎還是直接學最新的課程就好？

[@王曦-o3s]

李老师，nvidia的的演讲会有录播吗放出吗

[@shiuhlinlee]

李教授, 希望以後(after the assignment due date)你能分享你的學生作業題. Learning by Doing 這對線上學習是很有幫助的. 謝謝!

[@HungyiLeeNTU]

所有的作業都會公開在我的課程網頁上 speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.php

[@shiuhlinlee]

Thanks

[@莊智榮-p5z]

乖乖上完課了

[@3naughtyguy]

早上三點就有79個點閱，酷喔，不愧台大

[@apprivoise9253]

大家真的好認真

[@elvis1322]

你說錯了，是不愧是李老師

[@Guavaava]

全世界都在跟李老师学人工智能

[@waynej8280]

who care 要加s 巨好笑XD

[@Sekiro-x7r]

看完这个还想看机器学习的课程是看具体哪一年的，我看到2016-2023都有开课（之前没有系统学习过机器学习）

[@HungyiLeeNTU]

可以考慮先看看 2021 年版的機器學習，是從基本講起，因為是比較最近講的，所以跟今日深度學習的趨勢最接近： kzbin.info/aero/PLJV_el3uVTsMhtt7_Y6sgTHGHp1Vb2P2J 如果喜歡寶可夢的話，可以看 2016 年的寶可夢版： kzbin.info/aero/PLJV_el3uVTsPy9oCRY30oBPNLCo89yu49

[@Sekiro-x7r]

@@HungyiLeeNTU 感谢李老师

[@chinesehotgirl4080]

感谢老师，不知后续是否会有多模态，视觉语言模型的内容呢

[@lemon94]

话说能分享一下作业五吗😶‍🌫

[@nanakaka7]

21:00 請把Good Bye翻譯成"英文" --> 應該是"中文"🙋‍♀

[@afraking7697]

請問這系列總共有幾講呢

[@HungyiLeeNTU]

目前還在連載中，所以還不知道會有幾講

[@yangxu9744]

什么时候更新哈 迫不及待了

[@user-hr3dg7yt6b]

llama-pro是更好的方法(但更耗資源)

[@bhanukumarkotha4270]

English please

[@ef9754]

作息破壞者…

[@ChloeHsu-qb5td]

歪樓豆知識：布丁在美國是flan不是pudding喔，而且唸起來比較像「府藍」

[@CalvinJKu]

"All you need" 這個梗在 19 年已經玩爛了....reviewer 不喜歡也很正常

[@gabrielgracenathanana1713]

我在反思自己为什么看这个视频，有什么收获。我的收获是，它让我知道了科班的路子也不过如此。释然了。 这就是我为什么一方面感谢，另一方面很有批判感，有点看不起。 不过，绝大多数大学教授都是这德行，都在混。这位还算好的。 还在做点事。但是，正因为此，他散布的坏思路也更有害，要消毒。至少，我自己要这么做，这里只是分享一下。 对了，我以前也在名校教书十余年，知道怎么回事。 不是瞎扯。 现在油管严肃的信息很多，在这个快速变化的领域，大公司的信息其实比大学要好。不过，需要分清楚严肃的还是商业炒作。 但是，大学的就不是商业炒作吗？ 可能还是永久的伪装极好的炒作呢😢。 那些商业性的课程大多数其实也没意思，不光浪费钱，更头疼的是浪费时间。 不过，要考证书的，有用。 对绝大多数看这个频道的，应该用英语找。中文的，可怜呐。台湾的，极少。因为没有大公司在真的做。 大陆的，中文翻译头疼。而且，即便产品可能“弯道超车”😂😢，至少在观念上是落后的，让人反感地杂乱地抄袭的。连抄都抄不好😢。 所以，在这个领域，在自己什么都不懂要搭个框架的时候，就没别的办法，大多数的材料，就必须用英语的。 宁可慢一点，也不要只用汉语的材料。否则会在不知不觉当中舒舒服服地被带歪，就像这个频道。真不知道是帮忙还是误导。 它的整个的思路，思想方法，使用的策略，都大错特错。 你陷进去，就出不来了。 我的建议： 1. 在iphone app store 装copilot，它现在有gpt4. 这很重要。这个领域，就一定要在使用中学习。2. 问copilot关于agentic ai（别问我它的汉语是啥，我很反感，极端极端反感在科技前沿用汉语术语。我觉得那是反人类的行为😂）和local ai （两个词，不能连起来，否则就是一个产品的名字了）。熟悉一些科学家，比如Andrew Ng。 3. 熟悉一下美国七八个大公司的ai 名字。 熟悉它们的ceo和主要科学家，比如Nvidia的Huang，台湾人的骄傲❤。熟悉一下ai应用六大领域：对话，模拟，汽车，机器人，pc，phone。 这六个领域，我们绝大多数人现在就可以直接接触的，是对话和pc。 正好这就是agentic ai 和local ai 关心的。 4. 最后，对李教授说几句： 你还年轻，但也不要太浅薄。教授混饭难免，浅薄就不可饶恕了。不要以哄孩子的名义自己享受浅薄。

[@王曦-o3s]

talk is cheap ，show me the paper

[@gabrielgracenathanana1713]

@@王曦-o3s paper is also cheap - how many useless papers are there, esp. not reviewed? I really do not like this professor’s style. Too childish. I guess nothing is serious to him, every thing is an analogous to a movie.

[@432v01]

連 paper 也不放在眼裡，既然您這麼牛逼，還請大佬展示一下您的 project 或是 product，介紹一下使用者規模與解決的大問題。

[@gabrielgracenathanana1713]

@@432v01 我不是大佬。但是，那不等于我要让自己陷进这个教授的坑里。 混饭的教授的最容易的活法就是按历史安排一切。他从容地学（他学是很容易的，这种前沿的东西，点破了就一点点）。 他教的时候按历史教，把学生全部陷到历史的泥坑里。 还美其名曰打好基本功。 我看得太多了。 极其不负责的教授。 现代genai就那点东西，他偏偏把它弄得复杂化，还要弄一大堆莫名其妙的小孩子的比喻，把你弄得糊里糊涂，莫名其妙。自以为很cool。 很讨厌。

[@timmy20849]

問題真多 不爽別看

[@gabrielgracenathanana1713]

说“不要用人的思路来揣摩ai的” - 此言差矣。 其实，老师本身的解释不也在这样做吗？ 只是加上了一些“条件”而已。 人本身就是一个ai嘛！ 与此相关地，老师的讲解的厚度还是少了一点。 文史哲，就是一些素材而已，为什么不可以用？ 大学教授，又不是随便的网红，为什么不能有点文史哲，把它们连起来？ 我猜教授自己想问题时不至于完全避免想这些问题吧。为什么上课不能提？ 怕提这些大词汇，引起争论？ 不懂。 不要太惯着有些孩子们，不要把孩子们想得太低级趣味。

[@gabrielgracenathanana1713]

老师经常用英语注解术语，很好。希望一直做。 汉语的术语现在还不规范，乱七八糟的，很麻烦。 尤其是台湾和大陆香港的，很麻烦。 加上现在英文本身的也有一些“同义词”，比如，testing和inference，很需要老师的解释。 网上汉语的材料，很多是假定只说汉语。 这种假定，且不说那种民族主义的怪味，它在ai这个领域，科技前沿，完全行不通。 这个年代，华人不懂英语的是极少数了。不用英语的确实很多。 但是，ai领域，就要逼着这些人捡起来不用的英文。 顺便也打击一下那种莫名其妙与世界为敌的的狭隘心理。

[@Kevin509wisdom]

上串下跳的，都没什么人理你

[@gabrielgracenathanana1713]

@@Kevin509wisdom 您是不是太晚了点？ 😜。 我看看他的，发个评论，没啥不对。 那种肉麻的无头女生对中年男教授的评论，或者虽然是男生，但是充满了闺秀感的评论，我看了就讨厌。 一个频道的评论，全是那种玩意儿，你不觉得讨厌嘛？

[@gabrielgracenathanana1713]

我要谢谢教授。 但是，我也要指出，再见😢。这么对付小孩的无聊的东西，它是把你往下拉，而不是把你提高。 这种教授，是很不负责的。 他在你舒舒服服的过程中，把你的好奇和冲动完全化解掉了。 很坏的一个教授。 绝大多数教授都是如此。 他特别好，也因此特别坏。 😢。 劝大家看看英文的前沿的。 如今generative ai发展如此迅速，看他的东西，就上大当了。 别忘了，他是一个把你往下拉，往回拉的教授。 最前沿的是啥？ agentic ai 和local ai。 查查这些关键字。 别跟着这教授吃他咀嚼过的让人作呕的烂菜饭了。 他是用历史的次序来组织课程的。 这种方法，对genAI 是不对的。 应该反过来，“逆历史”。 他把你往回拉。 最后的，那个还没有上的一个视频，“使用中学”，就是agentic。 但是，他就是不说，他就是要把你往回拉！ 他还说什么不要将心比心，用我们自己的想法去猜ai。 这样，他就把你最宝贵的冲动给抹杀了。诛心呐！ 害人之极莫过于此了😢😅。 什么ai就是文字接龙啦，都是远古的玩意而了。 他非要把你弄糊涂为止😢。

[@gabrielgracenathanana1713]

用莫名其妙的动画来形容ai三阶段，表面上看挺cool。但是，其实有损理解。 其实，这三阶段和进化可类比。 当然，有人说，万一不对呢？ 这就是一个类比，有什么对不对呢？ 关键在于类比的严肃性，它的份量。 拿一个莫名其妙的动画片来类比，那个“份量”对吗？分量不对，必然影响理解的思路。 追求cool，追求年轻，性感。。。 太无聊了吧？！😂😅

[@gabrielgracenathanana1713]

希望老师慢慢地少用点莫名其妙的小孩子的动漫故事。挺无聊的。 我知道这对孩子们有吸引力。不过，人类共同记忆里的古典故事多了去了，大学教授，没必要过分地这样地迎合无聊的东西吧？ 我知道，有人说“它们没有无聊呀”。。。 好吧，至少，平衡一下可以吧？ 一边倒地用这些例子，好像人人都在追剧似的，好像也不是吧？