随笔分类 -  HugggingFace

huggingface model模型本地化
摘要：以t5-base为例： 储存模型： from transformers import AutoModelForSeq2SeqLM if __name__ == '__main__': model_name = 't5-base' prefix = 'your_path' save_path = pr 阅读全文
posted @ 2023-03-03 21:21 Shiyu_Huang 阅读(549) 评论(0) 推荐(0) 编辑
huggingface tokenizer本地化
摘要：以t5-base为例 本地存储： from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained('t5-base') tokenizer.save_pretrained('your_path') 本地 阅读全文
posted @ 2023-03-03 20:32 Shiyu_Huang 阅读(984) 评论(0) 推荐(0) 编辑
huggingface datasets数据集本地化
摘要：有时候服务器访问不了外网，可以现在可以访问外网的机器上先把数据集给下好，然后传到对应服务器进行加载。 1. 首先下载并存储数据： import datasets dataset = datasets.load_dataset("dataset_name") dataset.save_to_disk( 阅读全文
posted @ 2023-03-03 17:13 Shiyu_Huang 阅读(4353) 评论(0) 推荐(0) 编辑