【论文阅读】Eyemotion: Classifying facial expressions in VR using eye-tracking cameras

1.这篇文章究竟讲了什么问题？
在VR中使用眼球追踪相机对面部表情进行分类
2.这是否是一个新的问题？
在VR中表情识别不是新问题，但是使用部分面部图像进行识别是新的问题
3.这篇文章要验证一个什么科学假设？
有限的眼周图像数据能够用于用户表情分类。
4.有哪些相关研究？如何归类？谁是这一课题在这领域值得关注的研究员？
1)利用可视化数据进行表情分类
(1)M. Pantic and L. J. M. Rothkrantz. Automatic analysis of facial expressions: The state of the art. IEEE Trans. Pattern Anal. Mach. Intell., 22(12):1424–1445, Dec. 2000. 2
(2)B. Fasel and J. Luettin. Automatic facial expression analysis: a survey. Pattern recognition, 36(1):259–275, 2003. 1, 2, 4
(3)V. Bettadapura. Face expression recognition and analysis: The state of the art. CoRR, abs/1203.6722, 2012. 2
(4)E. Sariyanidi, H. Gunes, and A. Cavallaro. Automatic analysis of facial affect: A survey of registration, representation, and recognition. IEEE transactions on pattern analysis and machine intelligence, 37(6):1113–1133, 2015. 2
介绍了一堆利用卷积神经网络进行表情识别的方法。
2)用交替传感器进行表达式分类
介绍了利用可穿戴传感器进行表情分类的研究。
(1)J. Scheirer, R. Fernandez, and R. W. Picard. Expression glasses: a wearable device for facial expression recognition. In CHI’99 Extended Abstracts on Human Factors in Computing Systems, pages 262–263. ACM, 1999. 2
(2)K. Masai, Y . Sugiura, M. Ogata, K. Kunze, M. Inami, and M. Sugimoto. Facial expression recognition in daily life by embedded photo reflective sensors on smart eyewear. In Proceedings of the 21st International Conference on Intelligent User Interfaces, pages 317–326. ACM, 2016. 2, 8
(3)Dhall, R. Goecke, J. Joshi, J. Hoey, and T. Gedeon. Emotiw 2016: Video and group-level emotion recognition challenges. In Proceedings of the 18th ACM International Conference on Multimodal Interaction, pages 427–432. ACM, 2016. 2
(4)K. Suzuki, F. Nakamura, J. Otsuka, K. Masai, Y . Itoh, Y . Sugiura, and M. Sugimoto. Facial expression mapping inside head mounted display by embedded optical sensors. In Proceedings of the 29th Annual Symposium on User Interface Software and Technology, pages 91–92. ACM, 2016. 2
5.论文中提到的解决方案之关键是什么？
数据集的收集，以及‘Personalization’个性化技术，提高识别精度。
6.论文中的实验是如何设计的？
在一个小型的、单一的验证集研究中，对10个动作单元进行了不同卷积神经网络的基准实验，实验对象为4名不参与实验的参与者和19名从HMD1开始进行训练的参与者。
对IceptionV3和增加个性化技术分别进行了实验，包括表情分类以及动作单元分类实验。

7.用于定量评估的数据集是什么？代码有没有开源？
作者收集的数据集，没有开源

8.论文中的实验及结果有没有很好地支持需要验证的科学假设？
实验结果较好的证明了前面的假设

9.这篇论文到底有什么贡献？
1)证明了局部面部图像能够满足表情识别
2)一种新的个性化技术，以提高CNN对新用户的准确性。
3)眼部图像数据集

10.下一步呢？有什么工作可以继续深入？
情感刺激并非自发的，下一步可以考虑采用识别自发式情感