【论文阅读】Realistic Facial Expression Reconstruction for VR HMD Users

1.这篇文章究竟讲了什么问题？
提出了一种用于感知和重建虚拟现实(VR)头戴式显示器(HMD)用户的面部表情的系统。

2.这是否是一个新的问题？
是的

3.这篇文章要验证一个什么科学假设？
利用肌电信号来预测面部AUs，通过AUs和三维重建技术来重构VR下的面部。
4.有哪些相关研究？如何归类？谁是这一课题在这领域值得关注的研究员？
HMD-based 面部感知系统
1)Facial performance sensing head-mounted display
2)High-fidelity facial and speech animation for VR HMDs
3)An IR-based facial expression tracking sensor for head-mounted displays
4)Recognition and mapping of facial expressions to avatar by embedded photo reflective sensors in head mounted display
5)Design of a wearable device for reading positive expressions from facial emg signals
6)FACETEQ interface demo for emotion expression in VR
7)“High-fidelity facial and speech animation for VR HMDs
来自面部动作单元的情绪
1)P Ekman and W. V . Friesen, Manual for the Facial Action Coding System.Palo Alto, CA, USA: Consulting Psychologists Press, 1978.
2)M. François V alstar and M. Pantic, “Biologically vs. logic inspired encoding of facial actions and emotions in video,” in Proc. IEEE Int. Conf. Multimedia Expo., 2006, pp. 325–328.
3)S. V elusamy, H. Kannan, B. Anand, A. Sharma, and B. Navathe, “A method to infer emotions from facial action units,” in Proc. IEEE Int. Conf. Acoust., Speech Signal Process., 2011, pp. 2028–2031.
4)M. Ozuysal, P . Fua, and V . Lepetit, “Fast keypoint recognition in ten lines of code,” in Proc. IEEE Conf. Comput. Vision Pattern Recognit., 2007, pp. 1–8.

5.论文中提到的解决方案之关键是什么？
1)人脸具体化重构2)面部表情预测，通过肌电信号预测AU编码3)基本情感预测，建立AU编码与情感之间的联系

6.论文中的实验是如何设计的？
1)首先是评估3D人脸重构的性能
2)面部表情预测实验：首先对EMG信号进行预处理，去除噪声等，然后进行了10折交叉验证实验和LOSO交叉验证实验来验证面部表情分类的通用能力。
3)基本表情预测实验：建立AU与基本表情之间的关系。在CK+和EmotionNet数据集上学习该概率模型。
4)整体系统评估实验：a)用户佩戴Faceteq原型机，感知并重建用户的面部表情。b)然后带上VR重建用户表情

7.用于定量评估的数据集是什么？代码有没有开源？
CK+和EnotionNet，以及作者招募被试的数据，没有找到开源

8.论文中的实验及结果有没有很好地支持需要验证的科学假设？
实验结果支持验证的科学假设。

9.这篇论文到底有什么贡献？
a) 提出了第一个自动系统，感觉和并用一个真实的面部化身重建的HMD用户的面部表情
b) 面建立部肌电信号->面部表情之间的联系
c) 建立了AUs和六个基本表情之间的联系
10.下一步呢？有什么工作可以继续深入？
a) 头发，纹理以及几何细节可以作三维重建的补充
b) 可以考虑VR下微表情识别，借助三维重建的方法以及肌电信号与Aus之间的关联。