Task 04 打卡

时间:2022-04-17 20:37:02

机器翻译及相关技术

翻译前准备

清洗(大小写转换 标点符号)

分词(每个单词分开,生成一一对应的列表)

建立词典(根据词频进行统计 单词对应唯一id)

Encoder-Decoder

encoder将输入转化为隐藏状态,再由decoder将隐藏状态输出为翻译后语言。

sequence to sequence模型

运用到循环神经网络对下一个单词进行预测

将单词翻译成对应的词向量

beam search

依次根据每一个位置的局部最优解选取该位置的单词(贪婪搜索)

束搜索相比贪婪搜索增加了束宽(beam size)的超参数(k),每次选取(k)个最优词