2020年10月26日
StructBERT模型记录
摘要： StructBERT模型是达摩院提出的Bert系列模型，相比BERT模型而言，主要增加了两个预训练任务来提升模型性能： 1、Word Structural Objective Word Structural Objective是从未被遮掩的序列中以5%的几率选择部分长度为3子序列，将子序列中的词序打 阅读全文
posted @ 2020-10-26 16:07 sunshine丶23 阅读(273) 评论(0) 推荐(0) 编辑