注意力机制----Multi-Head Attention 和 transformer

时间:2024-03-14 07:54:16

multi-head attention:

  • 单个attention输入后,对应有三个权重矩阵

注意力机制----Multi-Head Attention 和 transformer

  • multi-head输入后,如果有l个头,就有l×3个参数矩阵

  • multi-head输出的向量会串联起来,变长

注意力机制----Multi-Head Attention 和 transformer

注意力机制----Multi-Head Attention 和 transformer

  • 不只是attention,self—attention也有多头

注意力机制----Multi-Head Attention 和 transformer

注意力机制----Multi-Head Attention 和 transformer 







 

transformer的encoder: 

  • transformer的encoder的一层结构:multi—head attention+dense+全连接层

注意力机制----Multi-Head Attention 和 transformer

  • 可以多累几层

注意力机制----Multi-Head Attention 和 transformer

  • transformer的encoder对于上述结构,一共使用了6层

注意力机制----Multi-Head Attention 和 transformer







transformer的decoder:

  • 在decoder底层先是一个multi-head

注意力机制----Multi-Head Attention 和 transformer

  • 然后,encoder,decoder合起来multi-head

注意力机制----Multi-Head Attention 和 transformer

  • 最后:+dense+全连接层

注意力机制----Multi-Head Attention 和 transformer

  • 输入和输出的大小是对等的:

注意力机制----Multi-Head Attention 和 transformer

  • 当然,以上结构也是decoder的一个block

注意力机制----Multi-Head Attention 和 transformer

  • 相应地,一共有6个block

注意力机制----Multi-Head Attention 和 transformer

  • 其实,RNN和transformer的模型输入和输出都是一样的,可以拿过来直接用

注意力机制----Multi-Head Attention 和 transformer




 


 


 


 


 

  • encoder的大小

注意力机制----Multi-Head Attention 和 transformer

  • decoder的大小

注意力机制----Multi-Head Attention 和 transformer

  • transformer是一个seq2seq模型

  • 它不是RNN,没有循环结构

  • 它只是基于attention和self-attention

  • 它在机器翻译领域完暴RNN

注意力机制----Multi-Head Attention 和 transformer

 

 

 

参考视频:https://www.bilibili.com/video/BV1Ap4y1Q7nT