【機器學習2021】Transformer (上)

slides: speech.ee.ntu.edu.tw/~hylee/m...

[@chi-hauchen8349]

竟然有免費又這麼高質量的課程，非常感謝老師增加知識傳播！感恩您，拜託讓課程持續下去！

[@left_right_men]

老師，真的很謝謝你造福大家

[@user-dv4su5jw8n]

感谢李老师，课程太棒了，终于懂了transformer！谢谢。

[@kdlin1892]

老师，yyds。课程每年更新，每年听一遍。弱水三千，取一瓢都够我在这被ChatGPT狂轰乱炸的当下保持淡定

[@steven-lin]

分享一句學到的實用英文 . . . . . . 硬 train 一發 (Ying Train Yi Fa)

[@Jean-jv3iy]

................................

[@user-xl9qb4nz4x]

Prof.Lee 永远的神

[@janet5258]

讲的太好了，谢谢分享

[@glhuang7944]

感谢老师！

[@sweroger]

字幕錯誤回報： 15:54 N to N -> end-to-end 21:09 21:11 class file -> classifier

[@user-xr2fg9uh5x]

感謝老師無私分享

[@dashunwang6267]

27:47关于batch normalization 的讨论，是不是应该是计算不同sample 同一个feature 同一个dimension的mean/var instead of 不同feature ? 谢谢李老师！

[@twvideo-hp4rb]

講的很清楚，謝謝分享。

[@derek142]

感谢李老师的分享~

[@songsong2334]

感谢老师

[@fanhaohaochen7614]

讲的真的很好

[@user-fe6uh2px4l]

感谢老师！！课程棒极了

[@leonring507]

感谢老师~

[@sssapphireee]

感觉老师讲课好可爱哈哈

[@YLLee-zx3jm]

听到停不下来😊

[@ruanjiayang]

硬train一发，哈哈，就是end to end

[@gordonwong2220]

谢谢李老师

[@kevintsai4969]

老師這麼晚還不睡 要注意身體欸

[@wonglaihim4864]

這是statquest 以外說得最好的影片TT

[@jiangjinyin2628]

默默点赞

[@user-ce2br9cc3e]

Good! easy understanding

[@likeapple1929]

The paper about PowerNorm states that: We find that there are clear differences in the batch statistics of NLP data versus CV data. In particular, we observe that batch statistics for NLP data have a very large variance throughout training. Is this still TRUE for ViT? I see most implementation of ViT using layernorm?

[@fpn12099]

22:55 正片開始 🙂🙂

[@7810]

Come in handy. Thanks!

[@kwonghowong6706]

谢谢老师推荐乡土剧（不是

[@wadewang574]

太有意思了，因为我的家人都是说闽南语（福建漳州人），我想把家人的声音克隆出来，而克隆人说出的语音得是闽南语才有感觉，所以我就想过有没有办法做个闽南语的语音识别和语音合成，没想到真的有人做出来了👍

[@wadewang574]

@@jacquelinepang7853 对，差别不大，能互相交流，福建闽南这边很多人都会用卫星锅看台湾的电视频道，毕竟能听懂~

[@itchainx4375]

请问论文和github地址有吗，想参考一下

[@tonygan1132]

很荣幸加入硬Train一发神教

[@raiso9759]

字幕錯誤回報： 29:43 未知 -> 位置

[@user-bo4mw5ye6p]

你是神

[@stanma864]

敲碗Transformer下

[@jiaweixue6396]

在这里遇到 柴友

[@qq_cat]

讲的真好。。。甩了别人几条街

[@xuzx1210]

4:57 害我又想起葛格了...

[@tongliu2156]

看看人家台湾的公开课质量

[@zhaixingzi]

心凉了，望尘莫及

[@harry-ck3gr]

你在狗叫什么？他们习近平理论公开课有大陆好吗？自信！我们考研政治世界第一😅

[@hulahula1083]

想回去读书了

[@eda5507]

不用妄自菲薄啦！ 重點是“課程內容”，而非是否在網路公開。我們台灣的學術，有非常高的學術保障及言論自由。 等有一天中國能完成進入學術及講學自由後，一定能達到你心中的質量

[@tongliu5755]

@@eda5507 大陆应该有一些能达到这种质量的AI课程, 只不过就在自己学校讲, 不会流传开. 他们MSRA和北京那一堆人的培养质量很高. 主要原因还是网路不够公开.

[@menkiguo7805]

多分类我不可以直接把softmax换成sigmoid吗 这样就不互斥了

[@deshawnstewart768]

请问老师在self-attention里面的各个权重矩阵W^q, W^v, W^k一般是怎么训练得到的呢？

[@erichuang9224]

反向传播

[@bibiworm]

28:05 这个地方讲到layer normalization, 我听的很混乱.老师说"batch normalization是对不同的example, 不同的feature, 同一个dimension求mean and variance; layer normalization是对相同的example, 相同的feature，不同的dimension求mean and variance" 我的问题是，老师这里说的example 和 feature是同一个意思么？是指一个data sample？？然后dimension其实是指feature? 谢谢

[@ximingdong503]

我大概 理解了，for BN 他说的 同一个 dimension 不同的 feature 不同的 sample 是指 举个例子： word embedding dim is 2， 句子 1 “今天” 2 “明月” 是同一个 batch。 不同的 sample 是指 “今天” 和 “明月”； 不同的 feature “今天”的 今 和 “明月”的 明； 同一个 dim 是指 “今天”的 今 和 “明月”的 明 的 word embedding 中的 第一维度 进行 normalization。 for layer 他说的 同一个 feature 同一个 sample 不同 dim 是指 word embedding 中 （“今天”的今） 中的 第一维度 和 第二维度 是 同一个 sample 中 同一个 单词 的 word embedding 但是 维度不同so 叫 不同维度。

[@bibiworm]

@@ximingdong503 嗯，合理。谢谢。

[@Li-oy2bo]

希望能有字幕，谢谢

[@kuanpohuang3103]

有字幕了喔

[@user-nb2bn3xx6h]

5:23 這樣聽來有沒有機會用來翻譯動物的語言?

[@myles-gl7ml]

是一个方向，需要动物研究人员先定义各种动物的语言和人类语言之间的对应关系，然后应该可以“硬train”

[@yijiewu3754]

老师上着课怎么突然讲起了RAP :)

[@user-yf5tf9ys5c]

AI 東西粉多怎麼辦？學、“不要理他”。 😆

[@simonliao5020]

所以...教授已經研發出 KZbin 可以自動上字幕的AI啦...

[@HungyiLeeNTU]

其實 YT 本來在一些語言的影片上本來就有自動上字幕的功能 😊

[@miku3920]

我也想搞一個

[@user-qj5gb9es2v]

主要英文->汉语还是有点专业术语没法弄得很好

[@simonliao5020]

@@user-qj5gb9es2v 對,漢語的部分還需要解決口音(鄉音)的問題

[@fay227]

27:20 layer norm

[@fay227]

同一个feature，同一个example 不同dimension

[@tones4johnsontec]

白紙革命後，李老師很紅，李老師不是你老師。

[@xieen7976]

老师说的作业是在哪

[@HungyiLeeNTU]

speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php 都在這裡了

[@elkyelkyelky]

0200

[@user-qj5gb9es2v]

内心真的好喜欢深度学习领域，想搞科研，让世界知道国人的实力。但是我这种跨专业的学生真的好难啊，虽然实力我觉得还行，但是就是得看专业背景。

[@xiaoyunyan741]

目前的深度学习技术门槛太低，基本谁都会！所以最好不要只会这个，否则今后很容易被淘汰！

[@0730pleomax]

@@xiaoyunyan741 大牛認為應該再多學些什麼呢

[@bingbingsun6304]

@@xiaoyunyan741 非常同意，机器学习是最廉价的工程技术，对于工程师而言，数学和物理更值得专研。

[@bingbingsun6304]

@@0730pleomax 兄弟，多学数学，物理啊.

[@0730pleomax]

@@bingbingsun6304 排除大公司，一般中小公司用到的機會多嗎?

[@tigernov_425]

这么讲不行把，根本不明白residual connection的作用，也不明白layer norm的意义，起码要给intuition把，或者链接也可以啊🤐🤐🤐🤐

[@will19181]

老師, 台語, 福建話, 是有漢字的, 會認為沒漢字是因為程度不夠, 一般人只會講俗話, 在古代俗人沒資格學漢字, 也學不起來, 千萬不要再誤會台語沒漢字了

[@zhaixingzi]

yyds

[@mmmooo...]

加油！ MAKE CHINA GREAT AGAIN !!!

[@user-vb5et9co3d]

台清交的老師很擅長將文件或是書上的文字進行淺白的說法，僅止於表面，因為台灣的學生數學爛的可以，你不要不信，看看國高中怎麼學數學就一清二楚，所以上了台清交自我感覺特別良好的學生自學能力超級弱，老師就只能越講越白話，越講越清楚在開頭，其實那些很淺白的道理不需要人教，要有自我學習自我理解的能力，而不是什麼都要教，除了彰顯學生的素質低落更是浪費資源

[@mingming7826]

把晦涩难懂的模型解说得清晰明白不是一件好事吗？这门课叫机器学习入门，不是机器学习进阶，老师的教学风格自有过人之处，你来听课就不要随意批判与教学内容无关的东西

[@user-vp1lk5td9p]

老話一句不爽不要看,當免費仔還意見這麼多

[@user-vb5et9co3d]

廢話過多就是敗筆

[@user-vp1lk5td9p]

就你廢話最多

[@user-zy8sf7tv2f]

老師，真的很謝謝你造福大家

[@user-qx9nj5qk7l]

字幕錯誤回報： 29:43 未知 -> 位置