戴墨镜的长颈鹿

摘要： 我们使用bert的时候经常会用到huggingface中的tokenizers 进行文本分词，其中有很多函数，tokenizer.tokenize、tokenizer,convert_tokens_to_ids、tokenizer.encode、tokenizer、tokenizer.encode_ 阅读全文