2022年2月26日
神经网络减少GPU显存占用的技术
摘要： 来源于阿里云的PAI平台使用的技术 1）激活检查点（Activation Checkpoint） 在神经网络中间设置若干个检查点(checkpoint)，检查点以外的中间结果全部舍弃，反向传播求导数的时间，需要某个中间结果就从最近的检查点开始计算，这样既节省了显存，又避免了从头计算的繁琐过程。 2） 阅读全文
posted @ 2022-02-26 16:01 ecnu_lxz 阅读(1389) 评论(0) 推荐(0) 编辑