Bert神

在Hugging Face提供的transformers库中，BERT模型相关的类有很多，以下是一些常用的BERT模型类：

1. BertModel: BERT模型的基本类，用于获取BERT模型的隐藏状态。
2. BertForPreTraining: 用于预训练任务，包括Masked Language Modeling（MLM）和Next Sentence Prediction（NSP）。它除了具备BertModel的功能，还在其基础上增加了预训练任务的头部。
3. BertForMaskedLM: 用于Masked Language Modeling（MLM）任务，该任务是通过掩盖输入序列中的某些标记，然后预测这些标记的正确值。
4. BertForNextSentencePrediction: 用于Next Sentence Prediction（NSP）任务，该任务是判断输入的两个句子是否为连续的。
5. BertForSequenceClassification: 用于序列分类任务，如情感分类、文本分类等。可以将BERT模型的输出进行分类。
6. BertForTokenClassification: 用于序列标注任务，如命名实体识别（NER）、词性标注等。可以将BERT模型的输出进行标注。
7. BertForQuestionAnswering: 用于问答任务，可以从文本中找到答案的起始和结束位置。
   其实2-7都是BertModel + 一些线性层等

最常见的做法

利用BertModel获得隐藏状态，然后 线性层 + 激活层，获得分类结果

Bert-FP