【论文阅读】WGAN-Based Robust Occluded Facial Expression Recognition

1.这篇文章究竟讲了什么问题？
基于WGAN的遮挡下的人脸表情识别

2.这是否是一个新的问题？
不是新的问题

3.这篇文章要验证一个什么科学假设？
鉴于GAN的优势和特点，利用GAN识别遮挡的人脸表情。

4.有哪些相关研究？如何归类？谁是这一课题在这领域值得关注的研究员？
a)遮挡图像补全(主要是图像修复的方法)
1)D. Pathak, P . Krahenbuhl, J. Donahue, T. Darrell, and A. A. Efros, ‘‘Context encoders: Feature learning by inpainting,’’ in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., Seattle, W A, USA, Jun. 2016, pp. 2536–2544.
2) I. Satoshi, S.-S. Edgar, and I. Hiroshi, ‘‘Globally and locally consistent image completion,’’ ACM Trans. Graph., vol. 36, no. 4, Jul. 2017,Art. no. 107.
3) J. Y u, Z. Lin, J. Yang, X. Shen, X. Lu, and T. S. Huang, ‘‘Generative image inpainting with contextual attention,’’ in Proc. IEEE Conf.Comput. Vis. Pattern Recognit., Salt Lake City, UT, USA, Jun. 2018,pp. 5505–5514.
4) L. Xu, H. Zhang, J. Raitoharju, and M. Gabbouj, ‘‘Unsupervised facial image de-occlusion with optimized deep generative models,’’ in Proc. 8th Int. Conf. Image Process. Theory, Tools Appl. (IPTA), Xi’an, China,Nov. 2018, pp. 1–6.
5) R. A. Yeh, C. Chen, Y . L. Teck, A. G. Schwing, M. Hasegawa-Johnson, and M. N. Do, ‘‘Semantic image inpainting with deep generative models,’’ in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Honolulu, HI, USA, Jul. 2017, pp. 6882–6890.
b)面部特征提取和识别(介绍了一些传统和CNN的FER)
c)GAN(介绍GAN的方法)

5.论文中提到的解决方案之关键是什么？
a)生成器的输入是被遮挡的图片
b)判别器包括两个，一个用于判断真伪，一个用于分类。输入为原始无遮挡图像，被遮挡的图像，生成的弥补图像。
c)损失函数的确定

6.论文中的实验是如何设计的？
a)仿真遮挡图像，通过添加不同大小的黑色矩形在人脸面部不同地方。
b)三种损失下的人脸补全对比，以及真实的遮挡图像的补全实验
c)使用t-SNE可视化特征图，来证明判别器提取到了可分离的面部特征。

7.用于定量评估的数据集是什么？代码有没有开源？
AffectNet和RAF-DB
暂时没有发现开源

8.论文中的实验及结果有没有很好地支持需要验证的科学假设？
较好的证明了科学假设

9.这篇论文到底有什么贡献？
a)提出基于改进的GAN的FER，实现了遮挡人脸补全和FER
b)针对改进提出的损失函数

10.下一步呢？有什么工作可以继续深入？
a)借鉴到遮挡情况微表情识别工作中
b)如何实现尽可能真实的遮挡仿真