07 预训练语言模型的下游任务改造简介(如何使用词向量)
Word2Vec --》 是一个神经网络语言模型,其次他的主要任务是做(生成词向量,Q)
![image-20220614194418918](../../Library/Application Support/typora-user-images/image-20220614194418918.png)
Word2Vec 模型是不是预训练模型?(是)
一定是
什么是预训练?
给出两个任务 A 和 B,任务 A 已经做出了模型 A,任务 B 无法解决(通过使用模型 A,加快任务的解决)
给你一个 NLP 里面的任务,给一个问题 X(Ni+ck),给出一个回答 Y(handsome)
预训练语言模型终于出来(给出一句话,我们先使用独热编码(一一对应的一种表查询),再使用Word2Vec 预训练好的 Q 矩阵直接得到词向量,然后进行接下来的任务)
- 冻结:可以不改变 Q 矩阵
- 微调:随着任务的改变,改变 Q 矩阵