摘要：
今天分享一个Bert的改进工作RoBERTa。RoBERTa是训练充分的Bert。 论文：RoBERTa: A Robustly Optimized BERT Pretraining Approach 代码：https://github.com/brightmart/roberta_zh 1. 方法 阅读全文
摘要：
bert之类的预训练模型在NLP各项任务上取得的效果是显著的，但是因为bert的模型参数多，推断速度慢等原因，导致bert在工业界上的应用很难普及，针对预训练模型做模型压缩是促进其在工业界应用的关键，今天介绍几篇轻量化bert模型—DistillBert, ALBERT。 一. DistillBer 阅读全文