【论文阅读】Region Attention Networks for Pose and Occlusion Robust Facial Expression Recognition

1.这篇文章究竟讲了什么问题？
遮挡和姿态变化下，基于区域注意力的人脸表情识别

2.这是否是一个新的问题？
不是新问题

3.这篇文章要验证一个什么科学假设？
所提方法能够提高遮挡以及姿态变化下的表情识别性能。

4.有哪些相关研究？如何归类？谁是这一课题在这领域值得关注的研究员？
只记录遮挡以及姿态变化下的表情识别方法：
1)Irene Kotsia, Ioan Buciu, and Ioannis Pitas. An analysis of facial expression recognition under partial facial image occlusion. Image and Vision Computing, 26(7):1052–1067, 2008. 1, 2
2) S. Liu, Y . Zhang, K. Liu, and Y . Li. Facial expression recognition under partial occlusion based on gabor multi-orientation features fusion and local gabor binary pattern histogram sequence. In International Conference on Intelligent Information Hiding and Multimedia Signal Processing, 2013. 2
3) Shane F Cotter. Sparse representation for accurate classification of corrupted and occluded facial expressions. In ICASSP, pages 838–841,2010. 1, 2
4) Shane F Cotter. Weighted voting of sparse representation classifiers for facial expression recognition. In Signal Processing European Conference, pages 1164–1168, 2010. 1, 2
5) Y . Li, J. Zeng, S. Shan, and X. Chen. Occlusion aware facial expression recognition using cnn with attention mechanism. IEEE Transactions on Image Processing, 28(5):2439–2450, May 2019. 2, 5, 7, 10, 11
6) O. Rudovic, M. Pantic, and I. Patras. Coupled gaussian processes for pose-invariant facial expression recognition. TPAMI, 35(6):1357–1369,June 2013. 2

5.论文中提到的解决方案之关键是什么？
a)自注意力模块
b)相关注意力模块
c)区域偏差损失

6.论文中的实验是如何设计的？
a)遮挡以及姿态变化的FER对比，baseline为ResNet18，数据集为提出的6个数据集，包含遮挡以及姿态变化的情况
b)单个区域以及组合的FER对比，数据集为Occlusion- and Pose-FERPlus
c) 不同区域以及原始人脸的学习注意权重对比，证明损失函数的有效性
d)消融实验

7.用于定量评估的数据集是什么？代码有没有开源？
6个包含遮挡和姿态变化的数据集，以及4个开源数据集：FERPlus, AffectNet, SFEW, RAF-DB。
开源地址：https://github.com/kaiwang960112/Challenge-condition-FER-dataset
8.论文中的实验及结果有没有很好地支持需要验证的科学假设？
有

9.这篇论文到底有什么贡献？
a) 构建了6个真实世界场景的测试数据集，包含遮挡和姿态变化的情况
b) 提出一个区域注意力网络，来捕捉面部区域的重要性
c) 提出一个区域偏差损失函数，使得网络模型更加注意到最重要的区域

10.下一步呢？有什么工作可以继续深入？

本文所提方法并没有想其他遮挡下的处理一样，检测遮挡区域并取出遮挡区域的特征。而是利用多个区域的特征融合，以及注意力机制，让模型聚焦于重要性权重高的区域。
a)可以借鉴到遮挡下的微表情识别，构建遮挡微表情数据集
b)区域注意力的概念也可以应用到微表情识别