会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
saas-open
博客园
首页
新随笔
联系
订阅
管理
随笔 - 34
文章 - 0
评论 - 2
阅读 -
8009
2025年2月12日
定制化训练DeepSeek模型:LoAR、COT推理与SFT技术应用
摘要: DeepSeek-R1 模型微调系列 DeepSeek-R1 模型微调系列一. 前言介绍本文内容:1.1 项目背景1.2 LoRA和 QLoRA 简介1.3 LLaMA 架构和 Qwen 架构LLaMA 架构Qwen 架构二. 环境准备2.1 Unsloth 安装(显卡版本-暂时不用)2.2 创建P
阅读全文
posted @ 2025-02-12 15:15 宁采臣open
阅读(662)
评论(2)
推荐(2)
编辑
公告
昵称:
宁采臣open
园龄:
1年9个月
粉丝:
2
关注:
1
+加关注
<
2025年2月
>
日
一
二
三
四
五
六
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1
2
3
4
5
6
7
8
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
我的标签
linux
(3)
rsync
(1)
随笔分类
linux 基础入门(11)
mysql数据库(1)
python入门神器(2)
分布式监控系统(2)
前端(9)
人工智能(3)
云原生(2)
随笔档案
2025年2月(4)
2024年3月(2)
2024年1月(2)
2023年11月(5)
2023年10月(2)
2023年9月(1)
2023年8月(5)
2023年7月(13)
阅读排行榜
1. confluence 破解系列(2350)
2. Zabbix MQQT协议监控 loT设备 (999)
3. Rsync 备份服务搭建(806)
4. 本地部署 DeepSeek-R1-内部知识库(691)
5. 定制化训练DeepSeek模型:LoAR、COT推理与SFT技术应用(672)
评论排行榜
1. 定制化训练DeepSeek模型:LoAR、COT推理与SFT技术应用(2)
推荐排行榜
1. 定制化训练DeepSeek模型:LoAR、COT推理与SFT技术应用(2)
2. linux 三剑客命令(1)
最新评论
1. Re:定制化训练DeepSeek模型:LoAR、COT推理与SFT技术应用
@Sai_9527 你的问题出现的原因是由于数据没有进行适当的 tokenizer 处理,导致数据格式不符合 SFTTrainer 的要求。在你使用 SFTTrainer 时,模型期望输入的 text...
--宁采臣open
2. Re:定制化训练DeepSeek模型:LoAR、COT推理与SFT技术应用
博主你好,我按照你的代码训练DeepSeek-R1-Distill-Qwen-7B模型,训练数据做了格式化但是没有做tokenizer处理,使用SFTTrainer自动处理的时候报错 ` Traceb...
--Sai_9527
点击右上角即可分享