08 2021 档案

摘要：Torch的Dataloader类 import torch import torch.multiprocessing as multiprocessing from . import SequentialSampler, RandomSampler, BatchSampler from . imp 阅读全文

摘要：Ranking Loss Ranking loss在广泛的领域被使用。它有很多别名，比如对比损失(Contrastive Loss)，边缘损失(Margin Loss)，铰链损失(Hinge Loss)。还有常见的三元组损失(Triplet Loss)。 首先说一下什么是度量学习： 区别于常见的分类 阅读全文

摘要：RFS RFS的策略，对类别c，首先有一个统计量$f_{c}$。它的含义是，统计出那些起码包含一个类别c实例的图片所占的所有图片的频率。然后通过公式计算$r_{c} = max(1, sqrt(t / f_{c}))$。在这里，t是一个超参数。一般来讲，t = 0.001。 计算出$f_c$之后，我 阅读全文

摘要：BN BN中有一些比较值得注意的地方： train/test不一致的好处与坏处 推理中的坑：移动平均。 训练中的坑：batch的大小与分布。 微调中的坑：参数化，数据分布等。 实现中的坑：一个多功能的BN的实现。 GN，precise-BN等等改进。 BN在训练和测试的时候，行为是不一致的。 在训练 阅读全文

摘要：pytorch中的nn.Module.register_buffer及DDP模块的一些小知识 作用：给一个nn的Module添加一个buffer，而且不会被认为是一个model的parameter。BN的running_mean就是一个buffer。这个buffer会被para一起，存储到模型里面( 阅读全文

摘要：深度学习框架中的分布式通信算子和并行训练 (1)首先要了解有哪些并行的种类。 (a)数据并行 (b)层内模型并行，这里有Fully Connected模型并行，Group Convolution并行等等。 (c)层间模型并行，这里包括一些流水线并行，，手动checkpoint和GPipe的知识。 ( 阅读全文