2025年1月3日
深度学习基础理论————训练加速（单/半/混合精度训练）/显存优化（gradient-checkpoint）
摘要： 主要介绍单精度/半精度/混合精度训练，以及部分框架（DeepSpeed/Apex） 不同精度训练 单精度训练（single-precision）指的是用32位浮点数（FP32）表示所有的参数、激活值和梯度 半精度训练（half-precision）指的是用16位浮点数（FP16 或 BF16）表示数 阅读全文
posted @ 2025-01-03 19:33 Big-Yellow-J 阅读(14) 评论(0) 推荐(0) 编辑