随笔 - 204, 文章 - 0, 评论 - 19, 阅读 - 49万

01 2025 档案

摘要：背景需要对3B模型进行蒸馏，一张4090的卡无法完成实验。完成这个实验的前提是需要两张卡，一张用来加载学生模型，一张用来加载教师模型。多卡使用这里的多卡使用并不是像以往的方式，使用dataloaderparallel等方式，这种是数据并行的策略，不适合蒸馏的场景，因为蒸馏是一个模型做推理，一个阅读全文

posted @ 2025-01-20 14:43 蔚蓝色の天空阅读(16) 评论(0) 推荐(0) 编辑

2025年3月

日

一

二

三

四

五

六

昵称：蔚蓝色の天空
园龄： 7年
粉丝： 7
关注： 2

+加关注

搜索

常用链接

合集

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论