07 预训练语言模型的下游任务改造简介(如何使用词向量)

时间:2022-12-18 22:58:55


Word2Vec --》 是一个神经网络语言模型,其次他的主要任务是做(生成词向量,Q)

![image-20220614194418918](../../Library/Application Support/typora-user-images/image-20220614194418918.png)

Word2Vec 模型是不是预训练模型?(是)

一定是

什么是预训练?

给出两个任务 A 和 B,任务 A 已经做出了模型 A,任务 B 无法解决(通过使用模型 A,加快任务的解决)

给你一个 NLP 里面的任务,给一个问题 X(Ni+ck),给出一个回答 Y(handsome)

07 预训练语言模型的下游任务改造简介(如何使用词向量)

预训练语言模型终于出来(给出一句话,我们先使用独热编码(一一对应的一种表查询),再使用Word2Vec 预训练好的 Q 矩阵直接得到词向量,然后进行接下来的任务)

  1. 冻结:可以不改变 Q 矩阵
  2. 微调:随着任务的改变,改变 Q 矩阵