摘要：
用单机单卡训练模型的时代已经过去，单机多卡已经成为主流配置。如何最大化发挥多卡的作用呢？本文介绍Pytorch中的DistributedDataParallel方法。 阅读全文
摘要：
在进行深度学习训练时，同一模型往往可以训练出不同的效果，这就是炼丹这件事的玄学所在。使用一些trick能够让你更容易追上目前SOTA的效果，一些流行的开源代码中已经集成了不少trick，值得学习一番。本节介绍EMA这一方法。 1.原理： EMA也就是指数移动平均(Exponential moving 阅读全文
摘要：
学习率是深度学习训练中至关重要的参数，很多时候一个合适的学习率才能发挥出模型的较大潜力。所以学习率调整策略同样至关重要，这篇博客介绍一下Pytorch中常见的学习率调整方法。 import torch import numpy as np from torch.optim import SGD fr 阅读全文
摘要：
在进行多卡训练的时候，经常会出现GPU利用率上不来的情况，无法发挥硬件的最大实力。 造成这种现象最有可能的原因是，CPU生成数据的能力，已经跟不上GPU处理数据的能力。 方法一 常见的方法为修改Dataloader里面的线程数量，利用多线程技术提高数据生产能力，但是这种方法提速并不是特别明显。 tr 阅读全文
摘要：
在众多深度学习开源库的代码中经常出现Registry代码块，例如OpenMMlab，facebookresearch和BasicSR中都使用了注册器机制。这块的代码经常会让新使用这些库的初学者感到一头雾水，本篇博客来分析一下注册器机制的原理与好处。 1. 为什么使用registry 在讲解regis 阅读全文
摘要：
Motivation: 这是ICCV 17年做无监督视频ReID的一篇文章。这篇文章简单来说基于两个Motivation。 在不同地方或者同一地方间隔较长时间得到的tracklet往往包含的人物是不同的 一个tracklet里面，大多数图片帧对应的都是同一个人 以上两点虽然是假设，但是也是满足大部分 阅读全文
摘要：
Motivation： 步态可被当作一种可用于识别的生物特征在刑侦或者安全场景发挥重要作用。但是现有的方法要么是使用步态模板（能量图与能量熵图等）导致时序信息丢失，要么是要求步态序列连续，导致灵活性差。这篇文章是将步态当成包含独立帧的集合，不要求帧的排列顺序甚至可以把不同场景下的视频帧整合在一起。 阅读全文
摘要：
tree是一种常用的数据结构用来模拟真实物理世界里树的层级结构。每个tree有一个根(root)节点和指向其他节点的叶子(leaf)节点。从graph的角度看，tree也可以看作是有N个节点和N-1个边的有向无环图。 Binary tree是一个最典型的树结构。顾名思义，二分数的每个节点最多有两个c 阅读全文
摘要：
Motivation: 深度度量学习的目标是学习一个嵌入空间来从数据点中捕捉语义信息。现有的成对或者三元组方法随着模型迭代过程会出现大量的平凡组导致收敛缓慢。针对这个问题，一些基于排序结构的损失取得了不错的结果，本文主要是针对排序loss存在的两个不足做的改进。 不足一：给定一个query，只利用了 阅读全文
摘要：
这篇文章是ICML 2019上一篇做域适应的文章，无监督域适应研究的问题是如何把源域上训练的模型结合无lable的目标域数据使得该模型在目标域上有良好的表现。之前的研究都有个假设，就是数据来自哪个域是有着域标签的，其实这不太现实，就拿手写字识别打比方，不同的人使用不同的笔如纸张，那写出来的字会是不同 阅读全文