会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
雨梦山人
博客园
首页
新随笔
联系
订阅
管理
随笔 - 50
文章 - 3
评论 - 8
阅读 -
73969
2025年2月20日
深度解析 DeepSeek 的蒸馏技术
摘要: 1. DeepSeek蒸馏技术概述 1.1 蒸馏技术定义与原理 模型蒸馏(Knowledge Distillation)是一种将大型复杂模型(教师模型)的知识迁移到小型高效模型(学生模型)的技术。其核心目标是在保持模型性能的同时,显著降低模型的计算复杂度和存储需求,使其更适合在资源受限的环境中部署。
阅读全文
posted @ 2025-02-20 09:50 雨梦山人
阅读(341)
评论(0)
推荐(0)
编辑
公告
昵称:
雨梦山人
园龄:
13年
粉丝:
5
关注:
1
+加关注
<
2025年2月
>
日
一
二
三
四
五
六
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1
2
3
4
5
6
7
8
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
我的标签
管理
(2)
随笔分类
大模型(8)
管理(2)
随笔档案
2025年2月(8)
2025年1月(1)
2024年12月(1)
2024年10月(3)
2024年8月(1)
2024年7月(3)
2024年6月(1)
2024年4月(1)
2024年3月(2)
2024年2月(1)
2023年8月(1)
2023年7月(1)
2023年6月(4)
2023年5月(3)
2023年4月(2)
2023年3月(3)
2023年2月(6)
2023年1月(7)
2022年8月(1)
更多
阅读排行榜
1. 必看:DeepSeek-R1本地部署!超详细教程~(26543)
2. 手把手教学,DeepSeek-R1微调全流程拆解(14224)
3. 将DeepSeek-R1接入WPS,手把手教程!(6645)
4. 一文搞懂架构(业务架构、数据架构、技术架构...)(4353)
5. unsloth微调llama3实战全过程(4255)
评论排行榜
1. 手把手教学,DeepSeek-R1微调全流程拆解(3)
2. DeepSeek微调教程(代码版)(2)
3. 必看:DeepSeek-R1本地部署!超详细教程~(2)
4. 被一位读者赶超,手摸手 Docker 部署 ELK Stack(1)
推荐排行榜
1. 将DeepSeek-R1接入WPS,手把手教程!(2)
2. 手把手教学,DeepSeek-R1微调全流程拆解(2)
3. 必看:DeepSeek-R1本地部署!超详细教程~(2)
4. DeepSeek微调教程(代码版)(1)
5. 如何使用大语言模型(LLM)自动构建知识图谱:基于OpenAI实现(附Python代码)(1)
最新评论
1. Re:必看:DeepSeek-R1本地部署!超详细教程~
@一只蚂蚁。 太少...
--雨梦山人
2. Re:手把手教学,DeepSeek-R1微调全流程拆解
大佬colab地址有权限 请通过一下请求
--离线云
3. Re:DeepSeek微调教程(代码版)
@15669072513 同问,请问朋友你将自己的文档转成可训练的数据集了吗?...
--净乐思
4. Re:手把手教学,DeepSeek-R1微调全流程拆解
@盐酸氟西汀 可能是网络问题...
--雨梦山人
5. Re:DeepSeek微调教程(代码版)
大佬,很多人都是用自己企业的内部私有数据生成数据集的需求,能不能写一篇这样的文章,从文档制作自己的私有数据集。感谢
--15669072513
点击右上角即可分享