改进Bert----spanBERT

SpanBert：对 Bert 预训练的一次深度探索

SpanBERT: Improving Pre-training by Representing and Predicting Spans

解读SpanBERT:《Improving Pre-training by Representing and Predicting Spans》

改进版BERT——SpanBERT，通过表示和预测分词提升预训练效果！

中文预训练BERT-wwm（Pre-Trained Chinese BERT with Whole Word Masking）

引入了新的目标函数，span-boundary objective (SBO)。把一个句子里的一部分span进行mask，然后用mask token旁边的token来预测masked span里的每一个token。在QA，conreference resolution, RE三个任务的数据集上实现了SOTA。 使用了外部KG，而且用了BERT large。

 

Facebook推出RoBERTa新模型，碾压XLNet 制霸三大排行榜

哈工大讯飞联合实验室发布中文BERT-wwm-ext预训练模型

改进版的RoBERTa到底改进了什么？

重回榜首的BERT改进版开源了，千块V100、160GB纯文本的大模型

 

BERT 预训练

BERT、ERNIE以及XLNet学习记录

Google BERT详解