表情识别研究

表情识别研究

学习文章：https://zhuanlan.zhihu.com/p/40572244

参考：人脸表情识别技术研究综述-2022

表情识别（FER，facialexpression recognition）是人脸识别（FR，face recognition）技术中的重要组成部分。

人脸表情识别系统，主要包括人脸图像提取，人脸检测，特征提取，特征分类四部分。

图像获取#

很多开源数据集：JAFFE、CK+、AFEW、FER2013、MMI等

人脸检测#

1、作用：确定图像中所有人脸的所在位置，去除非面部区域。

2、传统方式：（1）通过哈尔特征等特征分类器进行训练；（2）使用Viola-Jones人脸检测器

3、深度学习的方式：（1）Faster-RCNN、YOLO等

人脸对齐#

1、作用：提高面部表情识别精度

2、具体为：在一张人脸图像中搜索人脸预先定义的点的问题,它 通常从粗糙的初始形状开始,并通过逐步细化形状估 计直到收敛。

人脸归一化#

1、作用：解决光照的不同方向和头部面朝方向的差异会对识别面部特征的性能影响

2、方法：基于各向同性扩散的归一 化、基于离散余弦变换的归一化、高斯差分和基于同态滤波的归一化等

具体请参考论文

特征提取#

表情特征提取主要采用数学方法，依靠计算机技术对人脸表情的数字图像进行数据的组织和处理，提取表情特征，去除非表情噪声的方法。在某些情况下，特征提取算法提取了图像的主要特征，客观上降低了图像的维数，因此这些特征提取算法也具有降维的作用。

表情特征提取算法大体分为基于静态图像的特征提取方法和基于动态图像的特征提取方法。其中基于静态图像的特征提取算法可分为整体法和局部法，基于动态图像的特征提取算法又分为光流法、模型法和几何法。

以上都是传统的研究方法，需要使用手动提取的特征,或是浅层学习，识别功能有限。下面将深度学习融入其中

特征提取（深度学习）#

1、深度信念网络（Deep Belief Network,DBN）

2、自动编码器

3、深度卷积神经网络（CNN）

4、生成对抗网络（Generative Adversarial Networks, GAN）

深度学习中的网络（尤其是CNN）对图像具有较好的提取特征的能力，从而避免了人工提取特征的繁琐。

具体的基于深度学习进行特征提取的知识就看不懂了。

特征分类#

特征分类的目的是判断特征所对应的表情类别。在人脸表情识别中，表情的类别分为两部分：基本表情和动作单元。前者一般适用于所有的处理对象，后者主要适用于动态图像，可以将主要的特征分类方法分为基于贝叶斯网络的分类方法和基于距离度量的分类方法。

（1）基于贝叶斯网络的分类

是以贝叶斯公式为基础、基于概率推理的图形化网络。从人脸表情识别的角度出发，概率推理的作用就是从已知表情信息中推断出未知表情的概率信息的过程。基于贝叶斯网络的方法包括各种贝叶斯网络分类算法和隐马尔科夫模型（HMM）算法。

（2）基于距离度量的分类

是通过计算样本之间的距离来实现表情分类的。代表算法有近邻法和SVM算法。近邻法是比较未知样本与所有已知类别的样本之间的欧式距离，通过距离的远近来决策未知样本与已知样本是否同类；SVM算法则是通过优化目标函数，寻找到使不同类别样本之间距离最大的分类超平面。