cudnn为网络每一卷积层选最优实现方法,加速网络训练。
设置如下:
torch.backends.cudnn.benchmark = True
加速条件如下:
1. 输入数据在训练过程中一般不变化。
2. 数据量较大,并可以同时加载到GPU内存中。
3. 训练次数比较多。