nlp 特殊标记符

BERT模型中的特殊标记（Special Tokens）。它们的含义如下：

[PAD]：在batch中对齐序列长度时，用 [PAD]进行填充以使所有序列长度相同。可以通过将其添加到较短的序列末尾来实现对齐。
[CLS]：在输入序列的开头添加 [CLS] 标记，以表示该序列的分类结果。
[SEP]：用于分隔两个句子，例如在文本分类问题中，将两个句子拼接成一个输入序列时，可以使用 [SEP] 来分隔这两个句子。
[UNK]：此标记用于表示未知或词汇外的单词。当一个模型遇到一个它以前没有见过/无法识别的词时，它会用这个标记替换它。
在BERT模型中，这些特殊标记是必不可少的，因为它们能够帮助模型区分输入序列的不同部分，进而更好地理解和处理文本数据。

请注意：很多模型的vocab.txt文件不一样，它们定义的“特殊标记”也不同