torch中关于cuDNN的一些训练设置

torch.backends.cudnn.enabled = True

cuDNN的非确定性算法(NP)，等于True时启用，cuDNN设置为使用非确定性算法

torch.backends.cudnn.benchmark = True

再将benchmark设置为true，cuDNN将会自动寻找最适合当前配置的高效算法，达到优化运行效率的目的

 

是否使用上述机制遵循以下准则：

如果网络的输入数据在维度和类型上变化不大，这样设置可以增加运行效率

但如果网络的输入数据在每次iteration都变化的话，就会导致cuDNN每次都去寻找一遍最优配置，反而降低运行效率

 
posted @   Liang-ml  阅读(210)  评论(0)  编辑  收藏  举报
相关博文：
·  Pytorch包含的学习率调整策略
·  pytorch相关知识点
·  python中设置cudnn作用理解
·  torch.backends.cudnn.benchmark=True
·  踩坑日志1：cuDNN问题UserWarning: Plan failed with a cudnnException: CUDNN_BACKEND_EXECUTION_PLAN_DESCRIPTOR
阅读排行：
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· winform 绘制太阳，地球，月球 运作规律
· 【硬核科普】Trae如何「偷看」你的代码？零基础破解AI编程运行原理
· 上周热点回顾（3.3-3.9）
· 超详细：普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
点击右上角即可分享
微信分享提示
AI IDE Trae