戴墨镜的长颈鹿

摘要： Hugging Face 基本函数 tokenizer.tokenize(text)：返回一个list，分词，将序列拆分为tokenizer词汇表中可用的tokens，这个中文是拆分为了单个的字，英文是subword tokenizer(text1,text2,..) 等效于 tokenizer.e 阅读全文