bert模型学习

目录

• bert基本了解
• bert模型的使用
• bert的原理

bert基本了解

(1)bert(Bidirectional Encoded Representation from Transformer)是一直预训练语言模型，是一种双向的、无监督的语言模型
(2)预训练模型可以分为上下文无关或上下文有关，上下文有关有可以分为单向和双向的。上下文无关是指一个token无论在哪个语境下其编码都相同，上下文有关有关是同个token会在不同语境下有不同的编码。bert使用双向的上下文有关的方法
(3)bert的为无监督的方法，训练的语料库就是简单的文本，可以从网络上轻松的、大量的获取，比如维基百科。他会通过一种masked的技术来构建训练任务
(4)bert的使用分为预训练和微调两步。其中预训练时间消耗巨大，但是每种语言只需要训练一次，google公司已经帮我们训练好了。所以我们只需要下载训练好的模型进一步微调即可。

bert模型的使用

项目地址
使用教程

bert的原理

论文地址

暂时放弃，因为不懂的东西太多，学习上有困难