会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
LyleChen
博客园
首页
新随笔
联系
订阅
管理
2020年9月1日
轻量化模型训练加速的思考(Pytorch实现)
摘要: 0. 引子 在训练轻量化模型时,经常发生的情况就是,明明 GPU 很闲,可速度就是上不去,用了多张卡并行也没有太大改善。 如果什么优化都不做,仅仅是使用nn.DataParallel这个模块,那么实测大概只能实现一点几倍的加速(按每秒处理的总图片数计算),不管用多少张卡。因为卡越多,数据传输的开销就
阅读全文
posted @ 2020-09-01 17:08 LyleChen
阅读(1573)
评论(0)
推荐(1)
编辑
公告