Paper Reading:Receptive Field Block Net for Accurate and Fast Object Detection

论文：Receptive Field Block Net for Accurate and Fast Object Detection
发表时间：2018
发表作者：(Beihang University)Songtao Liu, Di Huang, Yunhong Wang
发表刊物/会议：ECCV
论文链接：论文链接

一些检测论文会依赖很深的 CNN 网络来提升效果，但此类网络会牺牲运行速度。在 RFB 论文中，作者由视觉感受野（Receptive Fields）出发提出了感受野 RFB 模块（Receptive Fields Block）。通过膨胀卷积和增加 Inception 结构等方法使得网络结构的感受野变大，这样可以在不增加网络深度的前提下保持较高的检测效果和较快的运行速度。
本文强调通过人为设计机制，使用轻量级网络来实现其高准确性和高速率。提出RFB模块进行人类视觉系统的大小和离心率的模拟，旨在增强轻量级CNN网络的深层特征。将RFB模块集成到SSD网络结构的顶端卷积层，在控制计算损失的情况下准确度有一定提升。通过将其连接到MobileNet证明其通用能力。

框架

通过改进 SSD 特征提取网络，使卷积核的感受野可以覆盖更多范围，提升检测效果。算法主要是对网络中卷积的结构进行改进，相当于把 SSD 的基础网络替换为一个类似于 Inception 的网络，并将普通卷积改为了膨胀卷积，使得每个卷积的感受野变得更大。RBF 网络通过模仿人类感受野使基础网络可以学到更多尺度的信息，从而在不增加参数的前提下提升准确率。

RFBNet 主要创新可以参考以下两张图：

作者参考 Inception 结构，将 SSD 的基础网络改进为多Branch结构。每个 RFB（感受野模块）由不同大小的普通卷积＋Dilation Conv 构成。如 $1*1$ 卷积接 $3*3$ 卷积，$3*3$ 卷积接 $3*3$ 膨胀卷（感受野为 $9*9$），$5*5$ 卷积接 $3*3$ 膨胀卷积（感受野为 $15*15$）。然后将这三个结构 concat 在一起共同作用。膨胀卷积如图所示，虽然 3*3 的卷积的参数个数和普通卷积一样，但其覆盖范围更大。

其实每个卷积核不覆盖很小的范围在 deformable conv 论文中也早有提及。作者在对比中提到，deformable 的每个像素的作用是相同的，但 RFB 结构可以通过对不同尺度的卷积设定不同权重使不同尺度的信息的作用不同。

在实现过程中，作者使用了两种不同类型的 RFB：

A 结构分支更多，卷积核更小，且没有 $5*5$ 卷积核（作者在使用中使用两个$3*3$ 卷积代替 $5*5$ 卷积）这两种构造在最后的 SSD 物体检测网络中的位置是不同的。根据作者的说法，在更靠前的网络，为了模仿人类更小的感受野，所以使用了更多分枝，且卷积核更小。事实上在使用过程中，只有第一层用了 A 结构。

我们看一下整体的网络结构，可以看到 RFB a 结构只在提取 VGG43 的特征时使用，其他的 RFB 都是 B 结构。另一个有趣的现象是最后几层依然使用了原始的卷积操作。因为在这些层 feature map 的尺寸已经很小了。较大的卷积核（5*5）不能运行在上面。

算法效果

VOC 数据集的 mAP 可以达到 80.5%。作者在其他基础网络上也测试了准确率，发现也有提升。证明 RFB 结构的效果提升具有普遍性。此外，作者尝试了使用 RFB 网络从零开始训练。最终的 mAP 为 77.6 (DSOD 为 77.7)，整体表现差不多。