2023年3月16日
大规模分布式训练经验
摘要： 一、单机单卡训练 1. 基本概念 芯片的内存 模型训练时的内存主要消耗在： 神经元的中间值 参数值（包括权重、梯度值和优化器的状态值） 2. 优化方法 单卡速度主要由单块AI加速芯片的运算速度、数据IO来决定。 优化方法：可以用激活重计算这个方法来进行优化。 具体操作为： 在网络中标记少量的算子 ， 阅读全文
posted @ 2023-03-16 19:52 地球美好不 阅读(129) 评论(0) 推荐(0) 编辑