摘要:
https://zhuanlan.zhihu.com/p/79714797,其实原理只要搞懂了transformer,这里就很容易懂了。 1.基于decoder 它是一个自回归模型,也就是输出会转变为下一次的输入,主要用来文本生成。 输入编码:词嵌入和位置嵌入向量相加,然后进入masked self 阅读全文
摘要:
1.word2vec模型 https://zhuanlan.zhihu.com/p/27234078 讲的非常好! 这里说到了上面的这个结论,我的理解是,学习到的kitten和cat在空间中会更接近吗?难道只能通过和其他词的平行四边形才ok?? 嗯,后面说了,训练的嵌入向量也会非常地相似。 skip 阅读全文
摘要:
1.输入emb层 在modeling.py文件中,首先对token进行emb词向量查询 然后进行emb后处理,获取sentence emb/位置emb: sentence emb也就是segment emb,即不同句子的初始化嵌入向量: 下面是pos emb: https://blog.csdn.n 阅读全文