合集-Pytorch相关问题

Pytorch使用Scaler时关于scheduler和optimizer顺序的报错：`optimizer.step()` before `lr_scheduler.step()`
摘要：背景 当我们使用pytroch的进行混合精度时，会使用scaler，来进行梯度浮点数类型的缩放。在这种情况下optimizer.step()会被scaler.step(optimizer)取代。 已知，如果梯度存在无穷值的时候，scaler会跳过这一轮次的参数更新。 又知，在参数没有更新时执行sch 阅读全文
posted @ 2023-04-02 15:26 ysngki 阅读(107) 评论(0) 推荐(0) 编辑
Apex的Cuda版本与Pytorch的Cuda版本不匹配（无root权限）
摘要：最新编辑于：2023年11月19日15:20:30 摘要 这个年代了谁还用apex啊！Pytorch自带的不好用吗？说的就是你，Megatron！ 要解决这个问题，我们需要安装和Pytorch版本一致的cuda。然后再安装apex。 先简单说下步骤： 下载cuda的安装程序，然后安装在无需root权 阅读全文
posted @ 2023-09-28 18:20 ysngki 阅读(1228) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示