机器学习学习记录
摘要：
※，2024年5月27日09:57:43 前向计算过程(获得损失loss)和后向传播过程（计算梯度） 2.1 主流的训练加速方式 目前主流的LLM训练的加速方式有以下三种： 数据并行DataParallel：N个GPU上放置同一个模型（模型复制N份），将数据切分成N份。每台GPU都独立地执行前向计算 阅读全文
posted @ 2023-12-14 16:32 everest33 阅读(887) 评论(0) 推荐(1) 编辑