BERT 论文逐段精读【论文精读】

[@dorisfang8636]

比我自己看论文容易理解多了，期待更多解读

[@Stefan-pb4jw]

沐神可不可以出一期知识图谱的！一直在追你的视频，质量很高！🥺

[@evelyn-rd3lb]

同問想看知識圖譜的🙋‍♀️

[@zzzjohnpaper]

謝謝老師

[@pantan4206]

在B站看了，再来这里看第二遍！

[@OptimusPrimeYan]

李沐老师讲的很牛逼

[@jayzhang3065]

Mu神，来挖坑了，你视频最后说到的想法是啥啊？关于为什么bert 比 gpt的影响力要大。我觉得一个很大的原因，你视频里也提到了，他把cv 里面那套 大的数据集预训练，然后在垂类领域微调拿到nlp 里面来用，而且用的好，破圈了。

[@alphaprofold5707]

先赞再看

[@pentapandamusic]

Attention is all you need

[@u4rr837]

想請問各位，大約25:00計算模型參數時有計算到transformer block 中的兩個 layer norm 嗎? layer norm應該要有gamma跟beta屬於可學習參數。

[@thomassun7015]

支持沐神！

[@jinhuizhang702]

太棒了

[@jasonwu8166]

沐神👍 之后有没有机会讲讲automl？ 或者推荐一些经典automl paper？

[@runyulu7453]

支持沐神😍

[@amanhasnoname836]

啊哈哈哈，现在GPT要排在第一的位置了😊

[@Benjaminyang-fb7nf]

❤ ❤ ❤ ❤ ❤ ❤ ❤ ❤

[@zhgzhou3589]

计算参数量的时候为什么没有注意力头的个数A呢？

[@zhgzhou3589]

A*64=H

[@cuifengshen2466]

注意力本身是没有参数的

[@hansimon1097]

导师好

[@cy2340]

太神了

[@yks2323]

很酷

[@jinhuizhang702]

大佬什么时候讲讲gpt3

[@user-wzb]

来了

[@sampsuns]

Mum for the next video

[@tildarusso]

早年RNN和LSTM的使用双向模型是为克服记忆消失问题，但是如果说attention机制没有视野限制可以注意到间隔很远的词，那在基于transformer编码器的模型中bidirectional为什么会有增益呢？

[@sally5453]

开头讲了之前用transformer的时候decoder是unidirectional的 "attention注意到间隔很远的词"和"unidirectional vs bidirectional"是两个topics

[@richard126wfr]

7:50 笑死了。

[@cc189tv]

youxiu

[@JiancongXie]

能不能出一期论文工程复现的视频？

[@GangWang-mn9gk]

谢谢老师