【论文阅读】Occlusion Aware Facial Expression Recognition Using CNN With Attention Mechanism
1.这篇文章究竟讲了什么问题？
遮挡情况下基于CNN和注意力的人脸表情识别
2.这是否是一个新的问题？
不是
3.这篇文章要验证一个什么科学假设？
ACNN能够感知遮挡的面部区域并将注意力集中于未遮挡和信息丰富的区域。
4.有哪些相关研究？如何归类？谁是这一课题在这领域值得关注的研究员？
面部遮挡的方法：分为Holistic-based和part-based methods
- Holistic-based基于整体的方法将人脸作为一个整体来对待，并不明确地将人脸划分为子区域。
a) J. Wright, A. Y . Y ang, A. Ganesh, S. S. Sastry, and Y . Ma, “Robust face recognition via sparse representation,” IEEE Trans. Pattern Anal. Mach.Intell., vol. 31, no. 2, pp. 210–227, Feb. 2009.
b) E. Osherov and M. Lindenbaum, “Increasing CNN robustness to occlusions by reducing filter support,” in Proc. CVPR, Oct. 2017,pp. 550–561.
c) I. Kotsia, I. Buciu, and I. Pitas, “An analysis of facial expression recognition under partial facial image occlusion,” Image Vis. Comput.,vol. 26, no. 7, pp. 1052–1067, 2008. - part-based
a)A. M. Martinez, “Recognizing imprecisely localized, partially occluded, and expression variant faces from a single sample per class,” IEEE Trans.Pattern Anal. Mach. Intell., vol. 24, no. 6, pp. 748–763, Jun. 2002.
b) L. Zhong, Q. Liu, P . Y ang, B. Liu, J. Huang, and D. N. Metaxas,“Learning active facial patches for expression analysis,” in Proc. CVPR,Jun. 2012, pp. 2562–2569.
c) X. Huang, G. Zhao, W. Zheng, and M. Pietikäinen, “Towards a dynamic expression recognition system under facial occlusion,” Pattern Recognit. Lett., vol. 33, no. 16, pp. 2181–2191, 2012.
d) A. Dapogny, K. Bailly, and S. Dubuisson, “Confidence-weighted local expression predictions for occlusion handling in expression recognition and action unit detection,” Int. J. Comput. Vis., vol. 126, nos. 2–4,pp. 255–271, 2017.
e) W. Li, F. Abtahi, and Z. Zhu, “Action unit detection with region adaptation, multi-labeling learning and optimal temporal fusing,” in Proc. CVPR, Jul. 2017, pp. 6766–6775.
f)L. Zhang, D. Tjondronegoro, and V . Chandran, “Random Gabor based templates for facial expression recognition in images with facial occlusion,” Neurocomputing, vol. 145, pp. 451–464, Dec. 2014.
g)R. Min, A. Hadid, and J.-L. Dugelay, “Improving the recognition of faces occluded by facial accessories,” in Proc. Autom. Face Gesture Recognit. Workshops, Mar. 2011, pp. 442–447.
h) J.-C. Lin, C.-H. Wu, and W.-L. Wei, “Facial action unit prediction under partial occlusion based on error weighted cross-correlation model,” inProc. IEEE Int. Conf. Acoust., Speech Signal Process., May 2013,pp. 3482–3486.
i) H. Towner and M. Slater, “Reconstruction and recognition of occluded facial expressions using PCA,” in Proc. Int. Conf. Affect. Comput. Intell. Interact. Springer, 2007, pp. 36–47.
J)Y . Deng, D. Li, X. Xie, K.-M. Lam, and Q. Dai, “Partially occluded face completion and recognition,” in Proc. ICIP, Nov. 2009,pp. 4145–4148.
k) X. Mao, Y . Xue, Z. Li, K. Huang, and S. Lv, “Robust facial expression recognition based on RPCA and AdaBoost,” in Proc. 10th Workshop Image Anal. Multimedia Interact. Services, May 2009, pp. 113–116.
注意力的方法：可以通过可视化模型处理特定任务的位置来帮助解释结果。
5.论文中提到的解决方案之关键是什么？
a)pACNN根据相关人脸landmark的位置，从最后的卷积特征图中裁剪出感兴趣的片段,
b)gACNN同时整合局部和全局表示
Gate单元不仅可以从数据中学习遮挡模式，还可以用模型权重对其进行编码
6.论文中的实验是如何设计的？
采用了7个面部表情类别(即6个原型加中性类别)的总体准确性作为性能指标。
1)进行人工遮挡数据集上的实验
a)与其他注意力模型比较b)与处理合成遮挡的其他方法进行比较c)与图像修复方法进行比较d)交叉验证
2）在真实遮挡下的实验
3) 消融实验
a)特征学习和门控单元对性能的影响。
b)不同的模型结构对干净和遮挡的图片的注意力图的影响。
7.用于定量评估的数据集是什么？代码有没有开源？
a)人为合成的数据集RAF-DB, AffectNet
b)真实遮挡数据集FED-RO
暂时没找到开源
8.论文中的实验及结果有没有很好地支持需要验证的科学假设？
有
9.这篇论文到底有什么贡献？
1)提出一个cnn+注意力机制来识别遮挡情况下的面部表情。该方法能够自动感知遮挡区域以及将注意力集中于信息丰富和非遮挡区域。
2)提出了一个真实的人脸遮挡数据集
10.下一步呢？有什么工作可以继续深入？
a)该方法应用于VR下面，进行表情识别，是否有效，以及如何简化。
b)除了landmark进行面部区域分解，是否有其他方法，比如直接分为24份等。
c)vision transformer是否可以采用，如何改进。
