mantch  

2019年9月28日

BERT预训练模型的演进过程！(附代码)
摘要： 1. 什么是BERT BERT的全称是Bidirectional Encoder Representation from Transformers，是Google2018年提出的预训练模型，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两... 阅读全文
posted @ 2019-09-28 21:58 mantch 阅读(7009) 评论(0) 推荐(1) 编辑
 
Copyright © 2024 mantch
Powered by .NET 8.0 on Kubernetes
博客园