Transformer模型(1/2): 剥离RNN，保留Attention

下节课： • Transformer模型(2/2): 从A...
English Version: • Transformer Model (1/2...
Transformer模型是目前机器翻译等NLP问题最好的解决办法，比RNN有大幅提高。这节课和下节课讲解Transformer模型。这节课的内容是 剥离RNN，保留Attention，设计Attention层与Self-Attention层。下节课的内容是用这两种层与全连接层搭建深度神经网络--Transformer模型。我不会像其他视频和博客那样剖析Transformer的每个组件。我的思路是从零开始设计一个Transformer模型。希望大家能跟着我的思路一起解决这个问题：如何搭建一个纯基于Attention的深度神经网络，并且能解决一切RNN擅长的问题？
课件：github.com/wan...
Transformer课程视频：
1. Attention层： • Transformer模型(1/2): 剥离...
2. Transformer网络： • Transformer模型(2/2): 从A...
3. BERT： • BERT (预训练Transformer模型)
RNN课程视频：
1. 数据处理： • RNN模型与NLP应用(1/9)：数据处理基础
2. 词嵌入： • RNN模型与NLP应用(2/9)：文本处理与词嵌入
3. Simple RNN： • RNN模型与NLP应用(3/9)：Simpl...
4. LSTM： • RNN模型与NLP应用(4/9)：LSTM模型
5.RNN的改进： • RNN模型与NLP应用(5/9)：多层RNN...
6. 文本生成： • RNN模型与NLP应用(6/9)：Text ...
7. 机器翻译： • RNN模型与NLP应用(7/9)：机器翻译与...
8. Attention: • RNN模型与NLP应用(8/9)：Atten...
9. Self-Attention: • RNN模型与NLP应用(9/9)：Self-...