10 2020 档案

Albert学习记录
摘要：albert相对BERT而言主要有三个改进方向： 1、对Embedding因式分解 在BERT中，词向量维度E和隐层维度H是相等的。而词嵌入学习的是单词与上下文无关的表示，而隐层则是学习与上下文相关的表示。显然后者更加复杂，需要更多的参数，也就是说模型应当增大隐层大小 ，或者说满足 。在实际中，词表 阅读全文
posted @ 2020-10-28 15:58 sunshine丶23 阅读(195) 评论(0) 推荐(0) 编辑
StructBERT模型记录
摘要：StructBERT模型是达摩院提出的Bert系列模型，相比BERT模型而言，主要增加了两个预训练任务来提升模型性能： 1、Word Structural Objective Word Structural Objective是从未被遮掩的序列中以5%的几率选择部分长度为3子序列，将子序列中的词序打 阅读全文
posted @ 2020-10-26 16:07 sunshine丶23 阅读(312) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示