论文笔记--PCN:Real-Time Rotation-Invariant Face Detection with Progressive Calibration Networks
- 测试demo：https://github.com/Jack-CV/PCN
- 关键词：rotation-invariant face detection， rotation-in-plane， coarse-to-fine
- 核心概括：该篇文章为中科院计算所智能信息处理重点实验室VIPL课题组，邬书哲博士在CVPR2018上的论文。论文主要针对的是在不同平面角度下的人脸检测，主题思想可以概括为Progressive Calibration Networks（PCN）， 即逐步校正不同角度的人脸。
- 已有方法：目前，针对平面角度的人脸检测主要有3种策略，即data augmentation， divide-and-conquer， rotation router。
4. 改进：作者为了快速地检测不同平面角下的人脸（0°~360°），通过逐级校正的路线，针对第一级检测出来的人脸，将为[-180°, 180°]的人脸翻转到[-90°, 90°]。这一步简单来说，就是把朝下的人脸翻转为朝上，这样就减少了一半的角度范围。第二级再继续以两条±45°的轴进行翻转，将人脸的角度范围限制到[-45°, 45°]。第三级，使用角度偏差回归预测精准的角度。校正流程如下：
5. 样本划分：
Positive， IOU > 0.7
Negative， IOU < 0.3
Suspected, IOU ∈[0.3, 0.7]
Positive 和 negative 用于人脸分类，positive 和suspected 用于人脸框的回归和角度校正。
需要说明的是，
三级网络的训练样本输入分别为24x24，24x24，48x48。
对于第一级网络，人脸范围划分为2部分，人脸朝上的角度范围是[−65°,65°]， 人脸朝下的范围是[-180°，-115°]∪[115°，180°]，其他角度范围不作训练数据。可以定义朝上的label为0，朝下的为1。
对于第二级网络，人脸范围划分为3部分，分别为[-90°，-45°]，[-45°，45°]，[45°，90°]，可以定义label分别为0，1，2。
对于第三级网络，人脸范围为[-45°，45°]，与前两个网络不同，训练的任务是人脸角度的回归。
6. 训练细节：
每个batch里的样本比例，positive： negative：suspected=2：2：1
max_iters:100,000
type:SGD
lr_base:0.001
gamma:0.1
lr_policy:step
step:70,000
wd:0.0005
7. 网络结构:
8. 算法介绍：
8.1 PCN-1
对于每一个输入的滑窗，第一级网络有3个目标：人脸与非人脸的判断（f），人脸框的回归（t），角度的分类score（g）。
第一个目标f，使用softmax-loss，y=1 if face else 0
第二个目标t，使用 l1 loss
人脸框的回归由3部分组成，w代表宽度，（a,b）代表人脸框的左上角坐标
第三个目标g，和第一个类似使用softmax-loss， y=1 if face is up else 0
最终的loss为，λ为各个loss 的weight
第一级的人脸角度划分，根据预测的θ进行划分，0°表示人脸朝上，不翻转；180°表示人脸朝下，进行翻转。
8.2 PCN-2
第二级与第一级类似，只是角度的校正范围发生了变化，转变为[-90°，-45°]，[-45°，45°]，[45°，90°]
8.3 PCN-3
经过第二级的校正之后，人脸的范围已经校正到竖直的一个区域。通过直接对角度进行回归，使用的loss变为l1 loss。
最终的角度可以由3级网络检测的角度进行叠加得到。
9. 实验结果：
