Transformer

Рет қаралды 210,234

Hung-yi Lee

Күн бұрын

Пікірлер: 146

@amoshuangyc 5 жыл бұрын

講得太好了！網上的文章怎麼看都看不懂，現在終於讓我搞懂 self attention 在做什麼了

@fissyercJ 5 жыл бұрын

老師的課程很棒，很幽默也一直有在更新新的model，非常喜歡老師的課程。

@yufan2148 5 жыл бұрын

7:58 Self-attention 27:57 Positional Encoding 37:25 Transformer

@hudsonvan4322 4 жыл бұрын

5:32 這邊應該是指CNN 但口誤講成RNN

@ipodyy6744 3 жыл бұрын

李老师讲的seq2seq model的链接能给一个吗？

@blchen1 2 жыл бұрын

谢谢李老师的精彩讲解！提纲挈领、深入浅出，令人受益匪浅！

@abc123634 5 жыл бұрын

等老師介紹 Transformer 的影片等幾個月了，實在實在是太棒了🌟

@abc123634 5 жыл бұрын

如果你看完教授的影片覺得手癢想要動手實作，可以參考這篇文章：leemeng.tw/neural-machine-translation-with-transformer-and-tensorflow2.html

@JohnSun-rt6qb 5 жыл бұрын

@@abc123634 感謝分享，也覺得您的文章非常精實，獲益良多~

@timehsw7277 5 жыл бұрын

@@abc123634 写得很棒，获益颇多，谢谢！

@chengliu3033 9 ай бұрын

老师讲的非常好，收获很大，感谢李教授

@jasonchen8486 2 жыл бұрын

Bert 是芝麻街裡的一個人物/玩偶!! 🙂早期台灣電視有芝麻街, 現在台灣人大概都不知道了, 但在美國大概沒有人不知道Bert這個人物. 在NLP領域近年很有名的 BERT and ELMo 都跟芝麻街的兩個知名玩偶同名

@JoeL-fb2gw 5 жыл бұрын

专门注册一个账号来感谢老师讲的很好，非常感谢！

@Lookman-z9l 3 жыл бұрын

天涯若毗邻，这个比喻真的好形象啊，而且直接回应了LSTM的缺陷

@jxm8944 5 жыл бұрын

李先生好！Transformer 模型/原理的解析：用于机器翻译任务，表现极好且可并行化，大大减少训练时间。点赞！ 🌹

@Geeker_LStar 7 ай бұрын

Aaaaa 全网最最最最最好的视频!!!! 谢谢老师!!!!!

@chanvincent9812 4 жыл бұрын

前后看了好几遍，终于是看懂了，心情都舒畅了很多，感谢李老师

@doPringlesCanDreamofPotatoe 8 ай бұрын

感谢老师！终于懂了为什么positional embedding可以直接加上来

@jamgplus334 3 жыл бұрын

天涯若比邻,这句绝了

@muhammadsaadmansoor7777 3 жыл бұрын

I not only understood transformers but I also learned Chinese from this video

@taiwanest 5 жыл бұрын

如此清晰透側的教學，令人驚嘆！

@alexanderyau6347 4 жыл бұрын

太棒了，讲的非常好！非常清晰透彻！感谢李教授！

@li-pingho1441 2 жыл бұрын

真的講超好......沒有李教授的線上課一堆研究生真的完蛋

@tianyuwang5827 4 жыл бұрын

44:07, 关于"it"对于其他词的attention我有点不懂。比如计算“it”到“animal”的attention，按照之前的计算方式，结果应该只和“it”的 query vector 以及"animal"的 key vector 有关，为什么不相关的“wide”会影响到这两个词之间的attention呢？

@jason81112 5 жыл бұрын

感謝老師解答不然原論文內h=8那邊我一直一頭霧水我原本還在猜想是不是有維度考量拆成8份來降為之類的畢竟O^2*d 的確挺大的另外我覺得後面self attention gan那邊其實non-local network那個例子比較好XD SAGAN相對non-local來說寫得比較隨意 non-local那邊有一些思想上的闡述~

@honlin-z2g 6 ай бұрын

I realized that the factor "d^(1/2)" doesn't have anything to do with final weights, since it's constant ( or say fair to any dot product) , that means it may change the distribution, but without order

@lixunxie6195 4 жыл бұрын

讲的很好，谢谢李老师的讲解

@midijean2291 5 жыл бұрын

老师讲的真是太好了！看完了再去看paper就好读太多了！

@haoyundeng1498 2 жыл бұрын

我有两个问题 1. 整个模型中的所有参数，包括W_Q, W_K, W_V，以及dense layer参数，softmax参数等等都是在最后翻译完成之后用cross entropy loss来一起train的吗，还是把W矩阵提前train好再拿来计算train其他参数？2. multi head的情况，怎么样获得不同的W_Q, W_K, W_V呢？既然我有一个“最好”的W矩阵来反应输入各个单词之间的关系，怎么还要不同的呢？有怎么保证它们不同？

@youzhongwang3647 4 жыл бұрын

谢谢李老师！请问一下在decoder的时候，因为只能用output左边的部分做attention，那么在train decoder的时候还是in parallel的吗？如果是，请问有没有详细一点的介绍是怎么实现的？谢谢！

@htai7163 3 жыл бұрын

深入简出，讲的太好了。

@talkshuo7866 5 жыл бұрын

泪目！感谢老师！！

@gphonebeta 4 жыл бұрын

这个是全网讲transformer最好的视频，还是中文的，爱死李宏毅老师了。

@peace3524 3 жыл бұрын

老師的課程真的是福音😆

@user-saint 7 ай бұрын

受益良多，感謝老師

@胡浩-h8r 5 жыл бұрын

感谢李老师的付出，可以看出做这些PPT需要许多的精力！这比看原论文舒服多了

@guang-yanzhang6122 5 жыл бұрын

李老师的思维非常的清晰，富有条理性

@xchrisliu Жыл бұрын

之前读Transformer的文章，都会提到李老师的这个视频，今天看了一下真的是名不虚传，很多我之前有疑问的地方都被解答了

@weikaichen546 4 ай бұрын

有一个问题不是很懂，35:55 处谷歌的动画显示，decoding的时候当前的输出是依赖于之前的输出的，那为什么李老师说b1到b4是并行同时生成的？有谁能解释一下？谢谢！@Hung-yi Lee

@weikaichen546 4 ай бұрын

我大概想通了，应该是self attention理论上就是可以并行地生成所有的输出，但是test time的时候还是需要sequential地生成，因为没有前文不可能有后语。因此，训练的时候需要用masked multi-head attention把后面的信息遮挡掉

@noahxu4647 4 жыл бұрын

谢谢李老师的分享，讲的非常的详细

@wolfmib 5 жыл бұрын

for 13:20: we could consider two Vector with D dimension : 1. When doing the inner product of the vector pairs , we can think : ___ the same vector with different dimension shall meet equal relationship as we expected:___ such as A(1,1,1), with B(1,1,1) D=3 a(1,1,1,1) with b (1,1,1,1) , D = 4 This two pair of vector (A,B ) , (a,b) shall has the same attention value: So take the inner product for both of two paris: A * B = 3 a * b = 4 and we found 3 != 4, so we divide by the square of the dimension: A*B / sqrt(3) = 3 / 1.7320 ~ 1.7320 a* b / sqrt(4) = 4 / 2 ~ 2 by this approximate : indeed, A*B is closer to a*b (even it's not exactly equal) , but it definitely is a better solution instead of taking the inner product without divide anything.

@zechenliu5760 Жыл бұрын

按这种解释的话，直接除以D不就好了？为什么要除以根号D?

@zdx4571 Жыл бұрын

谢谢老师让我了解新知识~

@chenzunfan Жыл бұрын

不爱学习的人也看下来了，好像脱口秀，感谢李老师的幽默！

@shencunzailaozhang 5 жыл бұрын

老师很准时，谢谢您辛苦的付出。

@leojan4668 2 ай бұрын

太厉害了老师！！！我这种初学者都能听懂

@stoneshou 4 жыл бұрын

非常感谢！有个小建议，右下角的水印有时会挡到内容，不知道有没有可能把水印或者挡住的部分分开

@ethaneaston6443 2 жыл бұрын

老师可以讲一下Unet吗？现在的diffusion代码实现中的Unet结构，其中的Unet用了attention和position embedding两个模块。没理解attention和position embedding两个模块怎么处理图像的

@mao1mao Жыл бұрын

那几个q\k\v的原理我不太明白，每个字都有自己的q，跟其他字的k的相似度代表了attention，然后再乘上对方的v。这整套的逻辑是啥呢？以及生成q\k\v的几个矩阵为啥是不同字符间通用的呢？

@sollunaliu7133 4 жыл бұрын

史上最强transfermer视频讲解，支持老师～

@zmario8605 5 жыл бұрын

I have never seen such a great course video！ Thank you very much

@yanfeizhang3580 Жыл бұрын

老师，请问masked multi-head attention能做一个解释吗？不太理解这个机制

@allenlai9954 5 жыл бұрын

謝謝老師講解的非常清楚

@cgqqqq 3 жыл бұрын

厉害，太多的视频要么是烂大街的high level，和你泛泛而谈attention有什么特点，要么是low level，xx软件工程师一上来就是矩阵运算各种工程code，只会写代码也不知道为什么要这么弄，李教授的视频能把high level和low level都串联到了，让人知其然知其所以然，这个是真的厉害，感谢！

@孤城-o3c 2 жыл бұрын

老师讲的真好

@vincentyang8393 Жыл бұрын

Great talk! thanks

@StevenLiuX 4 жыл бұрын

感谢老师! 终于看懂了恨不能多点几个赞!

@osmanjant 5 жыл бұрын

You are aswesome teacher. Don't stop uploading new videos. Thanks.

@justinzhang1323 3 жыл бұрын

老师讲得太好了！

@LiangyueLi 5 жыл бұрын

讲得最清晰的影像了

@jackdawson2870 Жыл бұрын

牛逼，还有informer

@lucywang8643 3 жыл бұрын

did such a great job in explaining! Thank you!

@charliechang2897 3 жыл бұрын

32:28 Block Matrix Multiplication可參考 kzbin.info/www/bejne/a36piKytjr5smKc

@张喜-i4x 4 жыл бұрын

非常好，感谢

@mengyuge3369 4 жыл бұрын

Thank you very much. Great video

@王毓华-h2i 3 жыл бұрын

41.40的时候，老师说：这个decoder的input是前一个（）所产生的output，括号里说的那个英文单词是什么？tai side怪怪的，没听懂。求助一下。

@stanley9534 3 жыл бұрын

timestamp

@JohnNeo Жыл бұрын

讲得很清楚👍

@weihuang743 4 жыл бұрын

很详细，很清晰，很赞

@Natural_Motion Жыл бұрын

请教下W矩阵怎么理解的呢？

@grownupgaming 2 жыл бұрын

26:40 Is the head-split happening at ai? or at qi/ki/vi?

@jasonwu8166 4 жыл бұрын

谢谢老师的讲解！有个问题，为什么RNN不能够像self attention一样做到平行计算？

@浩克的精神時光屋 4 жыл бұрын

因為RNN的算法，它會依序計算一句話的每個字，每個字又要有前一個字的hidden變量才能計算。

@kunhongyu5702 4 жыл бұрын

牛逼，最清晰

@heqiaoruan5166 3 жыл бұрын

这个老师讲的太赞了 👍

@JirongYi 3 жыл бұрын

At 40:03, is b=[b^1; b^2;...;b^4] or b is one of b^1, b^2, b^3, and b^4?

@haoteli2122 4 жыл бұрын

老师讲得太好了，我都tm庆幸母语是中文

@jackdawson2870 Жыл бұрын

seq to seq已经被transformer洗过一轮了，真实

@haonanchen193 4 жыл бұрын

弘毅老师讲的太好了，感谢资源

@xiangliu2767 10 ай бұрын

这个encode 和decode动画哪里可以看到，地址是什么

@zhiminli4225 3 жыл бұрын

讲的太棒了！

@walynlee2653 3 жыл бұрын

Great! Would you mind sharing the powerpoint with everyone?

@mitddxia4799 3 жыл бұрын

第33分钟左右的矩阵分块有点问题，结果不是直接相加，而是上下的关系才对

@yanliuwang3079 5 жыл бұрын

谢谢宏毅老师~

@anynamecanbeuse 5 жыл бұрын

请问老师，self-attention能否取代cnn的backbone去做图像分类问题呢

@HungyiLeeNTU 5 жыл бұрын

Self-attention 確實已經被用在影像相關的應用上，不過我認為短時間內 CNN 仍會被繼續使用。當 Self-attention 只 attend 在一個範圍(你可以想成就像是CNN 的receptive field)內時，它的作用會類似CNN filter，但與其讓 self-attention自己學到要 attend 在某一個範圍內，還不如直接透過 CNN 的 filter 告訴 network

@anynamecanbeuse 5 жыл бұрын

@@HungyiLeeNTU 感谢老师的解答，在听您这堂课的过程中，我感觉假设输入是整张图的像素，一个self-attention的output的感受野就可以达到整张图的范围，比cnn逐步增大感受野的计算量要小，而且语义信息更强，不知道理解的对不对。感谢您将课程分享到youtube，也期待您分享一些self-attention在影像上的应用。

@xuzhang2431 5 жыл бұрын

@@HungyiLeeNTU 谢谢李老师的精彩课程。现在有很多图像分类的问题都加上了注意力机制，有各种的attention，这些都叫attention models，不只是self-attention。比如CNN之后，flatten，然后加一组attention layer，再加几层dense layers，最后做classification。各种的attentions, 我有些混乱，李老师可不可以澄清一下？感谢！

@旅行者-z5o 6 ай бұрын

其实可以考虑放在bilibili上，没有广告。。

@gourmetdata971 4 жыл бұрын

有一个问题：positional encoding 应该是直接加上去而不是concatenate吧。原文是：The positional encodings have the same dimension d_model as the embeddings, so that the two can be summed

@gourmetdata971 4 жыл бұрын

现在明白了, W_I是word embedding matrix，而W_P是positional embedding matrix。所以ppt里是正确的。

@HungyiLeeNTU 4 жыл бұрын

@@gourmetdata971 沒錯 :)

@youngandy6161 Жыл бұрын

@@gourmetdata971 开始我也没理解这块，看到你的评论我也明白了，李老师将矩阵下移是换了另一种说法，和原文中是一个效果。感谢