U_C

摘要： 多GPU的处理机制：使用多GPU时，pytorch的处理逻辑是：1.在各个GPU上初始化模型。2.前向传播时，把batch分配到各个GPU上进行计算。3.得到的输出在主GPU上进行汇总，计算loss并反向传播，更新主GPU上的权值。4.把主GPU上的模型复制到其它GPU上。 阅读全文

摘要： 1、RuntimeError: cuda runtime erorr (77): an illegal memory access was encountered at 在使用命令前面加上CUDA_LAUNCH_BLOCKING=1（禁止并行的意思）（设置os.environ['CUDA_LAUNC 阅读全文

摘要： 设置这个 flag 可以让内置的 cuDNN 的 auto-tuner 自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题。 应该遵循以下准则： 如果网络的输入数据维度或类型上变化不大，设置 torch.backends.cudnn.benchmark = true 可以增加运行效率； 如果 阅读全文

摘要： 1. 在服务器窗口上alt + p 进入sftp窗口2. 选择之后会生成一个新的sftp窗口，3. 输入命令输入想要下载的文件所在的目录： lcd f:\（PS： f:\ 表示将文件从服务器上下载后存放在本地的目录地址）4. 输入命令： get fileName（PS: fileName 表示将要下 阅读全文

摘要： 如果加载的预训练模型之前使用了torch.nn.DataParallel()，而此时的训练并没有使用，则会出现这样的错误。解决方案有两个：1：此时的训练加入torch.nn.DataParallel()即可。2：创建一个没有module.的新字典，即将原来字典中module.删除掉。解决方案1：mo 阅读全文

摘要： pytorch cpu与gpu load时相互转化 torch.load(map_location=)学习 将gpu改为cpu时，遇到一个报错：RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda 阅读全文

摘要： forward方法的具体流程： 以一个Module为例：1. 调用module的call方法2. module的call里面调用module的forward方法3. forward里面如果碰到Module的子类，回到第1步，如果碰到的是Function的子类，继续往下4. 调用Function的ca 阅读全文

摘要： 选取微调形式的两个重要因素：新数据集的大小（size）和相似性（与预训练的数据集相比）。牢记卷积网络在提取特征时，前面的层所提取的更具一般性，后面的层更加具体，更倾向于原始的数据集（more original-dataset-specific）。四个基本原则： 1、新数据集小而且相似时，不建议进行微 阅读全文

摘要： 1、 train loss 不断下降，test loss不断下降：说明网络仍在学习; train loss 不断下降，test loss趋于不变：说明网络过拟合; train loss 趋于不变，test loss不断下降：说明数据集100%有问题; train loss 趋于不变，test los 阅读全文

摘要： 转载自：https://blog.csdn.net/qq_19533461/article/details/80960792 一般在保存模型参数的时候，都会保存一份moving average，是取了不同迭代次数模型的移动平均，移动平均后的模型往往在性能上会比最后一次迭代保存的模型要好一些。 ten 阅读全文