2018年12月20日
Pytorch半精度浮点型网络训练问题
摘要： 用Pytorch1.0进行半精度浮点型网络训练需要注意下问题： 1、网络要在GPU上跑，模型和输入样本数据都要cuda().half() 2、模型参数转换为half型，不必索引到每层，直接model.cuda().half()即可 3、对于半精度模型，优化算法，Adam我在使用过程中，在某些参数的梯 阅读全文
posted @ 2018-12-20 13:02 阿刚的代码进阶之旅 阅读(9775) 评论(1) 推荐(0) 编辑