【文件属性】：
文件名称：Transformers:变压器的 Pytorch 实现
文件大小：9KB
文件格式：ZIP
更新时间：2021-05-29 06:21:31
nlp deep-learning pytorch transformer self-attention
纸上变形金刚的Pytorch实现
概述
变压器网络采用类似于RNN的编码器解码器架构。 主要区别在于转换器可以并行接收输入的句子/序列，即没有与输入相关联的时间步长并且句子中的所有单词可以同时传递。
让我们从了解变压器的输入开始。
考虑英语到德语的翻译。 我们将整个英语句子输入到输入嵌入中。 输入嵌入层可以被认为是空间中的一个点，其中含义相似的词在物理上彼此更接近，即每个词映射到具有连续值的向量来表示该词。
现在的一个问题是，同一个词在不同的句子中可以有不同的含义，这就是位置编码进入的地方。 由于transformers不包含递归和卷积，为了让模型利用序列的顺序，它必须利用一些关于单词在序列中的相对或绝对位置的信息。 这个想法是使用固定的或学习的权重来编码与句子中标记的特定位置相关的信息。
类似地，目标德语词被送入输出嵌入，其位置编码向量被传递到解码器块。
编码器块有两个子层。
【文件预览】：
Transformers-main
----encoder.py(2KB)
----transformers.py(2KB)
----__pycache__()
--------decoder.cpython-37.pyc(2KB)
--------selfattention.cpython-37.pyc(1KB)
--------encoder.cpython-37.pyc(2KB)
----selfattention.py(3KB)
----README.md(3KB)
----decoder.py(2KB)