2024年3月15日
Pytorch——AutoTokenizer载入本地tokenizer权重
摘要： 由于众所周知的原因，国内很难使用huggingface去下载权重，但现在的大模型的权重以及相关的分词器配置都放在huggingface的仓库中。当我们使用 AutoTokenizer.from_pretrained 去载入相关分词器和模型时，会访问huggingface自动下载模型。但随着大模型的发 阅读全文
posted @ 2024-03-15 15:36 Circle_Wang 阅读(3733) 评论(2) 推荐(0) 编辑