Learning Feature Pyramids for Human Pose Estimation（理解）

0 - 背景

　　人体姿态识别是计算机视觉的基础的具有挑战性的任务，其中对于身体部位的尺度变化性是存在的一个显著挑战。虽然金字塔方法广泛应用于解决此类问题，但该方法还是没有很好的被探索，我们设计了一个Pyramid Residual Module（PRMs）来提高DCNNs的尺度不变性。

　　并且我们发现现存的初始化方法并不适用multi-branch的网络，我们在当前的权重初始化方法上提出了新的方法并给出了理论证明。

1 - 贡献

提出Pyramid Residual Module来提高深度模型的尺度不变性问题，而只是比DCNNs多一点点复杂性
分析了DCNNs多输入或者多输出层的初始化问题（当前MSR和Xavier初始化方法不适用multi-branch网络），提出了新的权重初始化策略（可以用于许多网络架构，包括inception models和ResNets）
我们发现在一些场景中激活变化累积是由identity mapping造成的，运用一种简单的有效解决方案

2 - 整体思路

2.1 - 尺度不变性

　　如上图，(a)和(b)由于透视关系，(a)中的上半身身体部位显得很大，而相反(b)中的上半身部位显得小，如果对于不同尺度的身体部位运用相同检测器，则尺度的变化将严重影响检测器的效果，因此在检测的时候需要在图像多变的情况下保证尺度不变性。论文用了如下大致架构：

2.2 - Pyramid Residual Modules (PRMs)

　　PRM被形式化描述为：

$$x^{(l+1)}=x^{(l)}+P(x^{(l)};W^{(l)})$$

　　其中$P(x^{(l)};W^{(l)})$是特征金字塔，可以被展开为：

$$P(x^{(l)};W^{(l)})=g\begin{pmatrix}\sum_{c=1}^{C}f_c(x^{(l)};w_{f_c}^{(l)});w_g^{(l)}\end{pmatrix}+f_0(x^{(l)};w_{f_o}^{(l)})$$

　　其中$C$为金字塔的层数，$f_c(\cdot)$为对于c-th层金字塔的转换，$W^{(l)}=\{w_{f_c}^{(l)},w_g^{(l)}\}_{c=0}^C$是参数集合。通过转换$f_c(\cdot)$的输出将通过求和进行合并，并且通过卷积核为$g(\cdot)$的卷积。pyramid residual module图解如下，为了减少计算以及空间的复杂度，每一个$f_c(\cdot)$被组织成bottleneck架构（有点像ResNet，例如通过$1 \times 1$卷积核降低空间维度，而后新的特征通过将$3 \times 3$卷积核应用到一个下采样的输入特征集合上，最后所有新的特征上采样到同一个维度而后合并）。

　　通过比较，PRM-B的参数更少，需要更少的计算资源但是与其它结构有可比的性能。

2.3 - fractional max-pooling

　　由于传统的pooling操作对于像素的减少太快以至于太过于粗糙，因此论文提出了一种新的fractional max-pooling方式，使得下采样的尺度平滑，金字塔的c-th层的下采样率定义为：

$$s_c=2^{-M\frac{c}{C}},\ c=0,...,C,M\geq 1$$

　　其中$s_c\in [2^{-M},1]$表示了与输入特征分辨率的关系。在实验中，作者的设置为$M=1$以及$C=4$，使得最低的层刚好是输入分辨率的一半。

2.4 - 评估策略

　　通过高斯方法来表示关键点，对于每一个关键点需要一个评分地图（score map）。例如，对于真实标签落在$z_k=(x_k,y_k)$的第$k$个关键点，其评分地图定义为：

$$S_k(p)\sim N(z_k,\Sigma )$$

　　其中$p\in R^2$表示了坐标，$\Sigma$是identity matrix $I$的经验集合，每一个沙漏网络预测$K$个评分地图，有$\hat{S}_k=\{\hat{S}_k\}_{k=1}^K$，损失函数定义如下：

$$L=\frac{1}{2}\sum_{n=1}^N\sum_{k=1}^{K}\begin{Vmatrix}S_k-\hat{S}_k\end{Vmatrix}^2$$

　　最后预测时候通过如下公式得到精确关键点坐标：

$$\hat{z}_k=arg\mathop{max}_p\hat{S}_k(p),k=1,...,K$$

2.5 - Initialization Multi-Branch Networks

　　（数学推导没看懂，后续如果有进展再补充）

3 - 实验

　　在MPII human pose dataset和Leeds Sports Poses (LSP)及其扩充数据集上。

　　输入图片为$256 \times 256$，单人人体姿态识别，训练数据集通过scaling/rotation/flipping/adding color noise进行增强，使用RMSProp进行优化，每个GPU的mini-batch size为16，epoch为200，学习率为$7\times 10^{-4}$，在第150次和第170次epoch学习率各减少10倍。测试时候在具有翻转的六尺度图像金字塔上进行。

3.1 - MPII Human Pose

　　阈值为0.5时我们的方法达到了92.0%的PCKh分数，是新的state-of-the-art结果，特别地是，我们的方法在wrist和ankle上分别实现了1.6%和2.4%的性能提升。而我们的网络参数从23.7M增加到26.9M（增加了13.5%，因为我们堆叠了八个沙漏网络），我们的网络对于$256 \times 256$的$RGB$图像需要45.9 GFLOPs（相比沙漏网络的41.2 GFLOPs增加了11.4%）。