注意力机制----Multi-Head Attention 和 transformer

multi-head attention：

• 单个attention输入后，对应有三个权重矩阵

• multi-head输入后，如果有l个头，就有l×3个参数矩阵

• multi-head输出的向量会串联起来，变长

• 不只是attention，self—attention也有多头

 

---

---

---

---

---

---

 

transformer的encoder： 

• transformer的encoder的一层结构：multi—head attention+dense+全连接层

• 可以多累几层

• transformer的encoder对于上述结构，一共使用了6层

---

---

---

---

---

---

transformer的decoder：

• 在decoder底层先是一个multi-head

• 然后，encoder，decoder合起来multi-head

• 最后：+dense+全连接层

• 输入和输出的大小是对等的：

• 当然，以上结构也是decoder的一个block

• 相应地，一共有6个block

• 其实，RNN和transformer的模型输入和输出都是一样的，可以拿过来直接用

---

---

---

 

---

 

---

 

---

 

---

 

• encoder的大小

• decoder的大小

• transformer是一个seq2seq模型

• 它不是RNN，没有循环结构

• 它只是基于attention和self-attention

• 它在机器翻译领域完暴RNN

 

 

 

参考视频：https://www.bilibili.com/video/BV1Ap4y1Q7nT