pytorch学习笔记4
摘要：
pytorch学习笔记4 tokenizer【分词器】类的结构和数据 主要内容是用于分词的字符，包含一个字典，字典中包含一些特殊字符； ['[UNK]', '[SEP]', '[PAD]', '[CLS]', '[MASK]']常用的特殊字符一般是这5个，分表表示[未知字符],[分隔符],[填充符] 阅读全文
posted @ 2023-04-12 10:09 张德长 阅读(72) 评论(0) 推荐(0) 编辑