摘要：用单机单卡训练模型的时代已经过去，单机多卡已经成为主流配置。如何最大化发挥多卡的作用呢？本文介绍Pytorch中的DistributedDataParallel方法。 阅读全文

摘要：在进行深度学习训练时，同一模型往往可以训练出不同的效果，这就是炼丹这件事的玄学所在。使用一些trick能够让你更容易追上目前SOTA的效果，一些流行的开源代码中已经集成了不少trick，值得学习一番。本节介绍EMA这一方法。 1.原理： EMA也就是指数移动平均(Exponential moving 阅读全文

摘要：学习率是深度学习训练中至关重要的参数，很多时候一个合适的学习率才能发挥出模型的较大潜力。所以学习率调整策略同样至关重要，这篇博客介绍一下Pytorch中常见的学习率调整方法。 import torch import numpy as np from torch.optim import SGD fr 阅读全文

摘要：在进行多卡训练的时候，经常会出现GPU利用率上不来的情况，无法发挥硬件的最大实力。 造成这种现象最有可能的原因是，CPU生成数据的能力，已经跟不上GPU处理数据的能力。 方法一 常见的方法为修改Dataloader里面的线程数量，利用多线程技术提高数据生产能力，但是这种方法提速并不是特别明显。 tr 阅读全文

摘要：在众多深度学习开源库的代码中经常出现Registry代码块，例如OpenMMlab，facebookresearch和BasicSR中都使用了注册器机制。这块的代码经常会让新使用这些库的初学者感到一头雾水，本篇博客来分析一下注册器机制的原理与好处。 1. 为什么使用registry 在讲解regis 阅读全文