Fork me on GitHub

04 2021 档案

bert的训练数据的简单构建
摘要：一.简介 大家都知道原始bert预训练模型有两大任务： 1.masked lm：带mask的语言模型 2.next sentence prediction：是否为下一句话 bert模型的训练数据有三部分，如下图： 1.字的token embeddings 2.句子的embeddings 3.句子位置 阅读全文
posted @ 2021-04-06 15:19 石头木 阅读(1064) 评论(0) 推荐(0) 编辑
语义匹配，cnn + self-attention孪生网络
摘要：一.模型结构 实现一个简单的孪生网络（结构如上图），做语义相似度： 1.从上图可看出整体的结构相对较简单，左右两边基本一致。A句和B句分别进入左右两个结构。输入到网络中是token embedding + position_embedding 2.再经过cnn-encoder进行编码 3.多头注意力 阅读全文
posted @ 2021-04-02 20:34 石头木 阅读(1301) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示