SPP-Net理解

文章没有看完，先挑几个点谈一下。

1. 动机

在上一篇文章的末尾提到，RCNN做了很多重复计算，SPP就是为了解决这个问题而提出的的一个方法----空间金字塔池化。

感觉这个问题本质上还是全连接层对region-based目标检测算法造成的困难。全连接层要求其输入为固定尺寸，从而也就要求CNN的输入为固定尺寸，而region proposals往往大小不一。RCNN选择先在原图上截取region proposals扣取下来，然后warp到要求的尺寸，再一个一个的送入CNN...，这就造成了测试时要执行很多次CNN，重复计算的问题；SPP-Net的目标是共享卷积计算，也就是在原图过一遍CNN，在生成的fearure map上扣取region proposals（依然靠selective search在原图上搜索出来的区域位置），此时region proposals相比原图是特征密集语义丰富的，作者提出用空间金字塔池化代替卷积层和全连接层之间的max pooling，不管是输入任何尺寸，输出总是某个固定尺寸。

2. 具体操作

SPP-Net沿用了RCNN的框架，只用空间金字塔池化代替卷积层和全连接层之间的max pooling。

而这个空间金字塔池化实际上就是把feature map（3维）用不同的网格切分，然后对切分出来的每个小方块做最大池化，然后重组成一个2维向量。这个2维向量尺寸依赖于网格设置，调整到符合全连接层输入尺寸即可。

如图，用4*4，2*2，1*1大小的三张网格放到下面这张特征图上，就可以得到16+4+1=21种不同的切割方式，分别在每一个区域取最大池化，那么就可以得到21组特征。这种以不同的大小格子的组合方式来池化的过程就是空间金字塔池化（SPP）。

3. 优点

实现了共享卷积计算，并且可以通过设置不同的网格来得到多层尺度的特征。

4. 缺陷

使用多尺度池化，导致梯度回传很复杂；某些层不能更新...【待更】