什么是BERT
什么是BERT
参考资料:
https://zhuanlan.zhihu.com/p/98855346
https://zhuanlan.zhihu.com/p/51413773
https://www.jiqizhixin.com/articles/2019-11-05-2
https://zh.wikipedia.org/wiki/BERT
BERT(Bidirectional Encoder Representation from Transformers)
所以说,学习bert之前,首先得学习一下什么是transformer;
BERT 的五个关键词 Pre-training、Deep、Bidirectional、Transformer、Language Understanding 分别是什么意思?
BERT 框架是 Google AI 的一个新的语言表示模型,它使用预训练和微调来为各种任务创建最先进的模型
每个编码层和解码层都使用了注意力机制。
该模型有以下主要优点:
1)采用MLM对双向的Transformers进行预训练,以生成深层的双向语言表征。
2)预训练后,只需要添加一个额外的输出层进行fine-tune,就可以在各种各样的下游任务中取得state-of-the-art的表现。在这过程中并不需要对BERT进行任务特定的结构修改。
那BERT是如何实现的呢?
BerT就是Transformer 的升级版本,
基于Transformer的双向编码器表示。
BERT已经成为NLP实验中无处不在的基线baseline;
这个model也就是,两三年之内的技术
对于CV任务来说,不是很适用,因为CV任务对时序的考虑比较少。