2023 年 10月 1 日随笔档案 - 扫地升

2023年10月1日

摘要：提供LoRA微调和全量参数微调代码，训练数据为data/train_sft.csv，验证数据为data/dev_sft.csv，数据格式为"<s>Human: "+问题+"\n</s><s>Assistant: "+答案。本文主要介绍Llama-2-7b模型LoRA微调以及4bit量化的实践过程。阅读全文

posted @ 2023-10-01 23:50 扫地升阅读(2345) 评论(0) 推荐(0) 编辑

Llama2-Chinese项目：3.1-全量参数微调

摘要：提供LoRA微调和全量参数微调代码，训练数据为data/train_sft.csv，验证数据为data/dev_sft.csv，数据格式如下所示： "<s>Human: "+问题+"\n</s><s>Assistant: "+答案举个例子，如下所示： <s>Human: 用一句话描述地球为什么是独阅读全文

posted @ 2023-10-01 00:06 扫地升阅读(1271) 评论(2) 推荐(1) 编辑