2021年5月11日
huggingface tokenizer错误
摘要： 如果继承了Tokenizer例如mTokenizer(GPT2Tokenizer)，在__init__中加入了一些新tokens，这样在save之后from_pretrained时不能用mTokenizer.from_pretrained，会报错。 AssertionError: Non-conse 阅读全文
posted @ 2021-05-11 14:48 Luke_Ye 阅读(1685) 评论(0) 推荐(0) 编辑