Loading

摘要: 模型结构演进 本文以演进方向和目的为线索梳理了一些我常见到但不是很熟悉的预训练语言模型,首先来看看“完全版的BERT”:**RoBERTa: A Robustly Optimized BERT Pretraining Approach(2019)**可看成是完全体的BERT,主要3方面改进,首先采用 阅读全文
posted @ 2022-04-11 21:25 MapleTx 阅读(537) 评论(0) 推荐(0) 编辑