Task04:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer

时间:2021-01-06 23:47:45
【文件属性】:
文件名称:Task04:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer
文件大小:1.22MB
文件格式:PDF
更新时间:2021-01-06 23:47:45
AS fo for 如果我们现在要做个中英文翻译,比如我是中国人翻译成 ‘i am Chinese’.这时候我们会发现输入有 5个中文字,而输出只有三个英文单词. 也就是输入长度并不等于输出长度.这时候我们会引入一种 编码器-解码器的模型也就是 (Encoder-Decoder).首先我们通过编码器 对输入 ‘我是中国人’ 进行信息编码, 之后将生成的编码数据输入 decoder 进行解码.一般编码器和解码器 都会使用循环神经网络. 当然为了使机器知道句子的结束我们会在每个句子后面增加 一个 表示 句子的结束.使得电脑可以进行识别.在训练的时候 我们也一般会在解码器的第一个输入阶段加上表示

网友评论