Investigation of uncooled infrared imagery for face recognition
(用于人脸识别的非制冷红外成像研究)
Diogo C. Pereira[1] Monique P. Fargues[2] Gamani Karunasiri[2]
[1] Centro Técnico Aeroespacial Praça Marechal Eduardo Gomes 50 Campus do CTA Vila das Acácias 12228-901 São José dos Campos Sao Paulo, Brazil
[2] Naval Postgraduate School Electrical and Computer Engineering Department 833 Dyer Road, Code EC/Fa Monterey, California 93943
Abstract：
非制冷红外技术的新发展使得分辨率热成像仪乡对于制冷热成像仪的花费更低。在室内控制条件下采用非制冷红外摄像机采集了14名成年个体的420幅图像作为数据库，然后对该数据库采用线形分类方案。结果表明：采用线性判别式方法（LDA）具有最好的分类性能（99.3%），而最佳主元分析（PCA）的分类精度为91.33%。结果同时表明：通过在本研究中小数据库的PCA影射矩阵中去除前三个最大的特征向量，可以改善基于PCA机制的分类性能[类似于在可见光人脸识别中的研究方法]。
1 Introduction
当前大多数人脸识别研究是基于可见光图像的，对于红外图像人脸识别的研究很少。
可见光人脸识别算法的主要困难是：在不同光照条件下进行精确人脸识别。
红外图像的优点：不受光照条件的影响
当前最佳的红外成像分辨率是通过制冷摄像机获得的（通过液氮或闭路循环冷却器来降低感应器的温度），但该设备比较昂贵且不易获得基准数据集（benchmark datasets），从而限制了该设备的推广使用。
近期研究出的非制冷红外摄像仪可以在很低的花费下实现制冷效果。
Socolinsky和Selinger进行了制冷长波红外人脸识别试验。通过对91名测试者分别通过主元分析（PCA）、线性判别式分析（LDA）、局部特征分析（LFA）和独立主元分析（ICA）进行分类，并比较其分类性能，结果表明使用LDA方法的分类效果最好。
Chen, Flynn和 Bowyer进行了非制冷红外和可将光图像的人脸识别试验。通过对241名测试者组成的数据可使用PCA方法进行分类，该试验中包含有Time Lapse数据采集，一些图像测试之间间隔了很长时间。一个有趣的结论描述了红外图像基于时间的可变性，即识别性能随时间的推移而降低。
最近Socolinsky, Selinger和Neuheisel对包含91名测试者的非制冷红外数据库进行了人脸识别试验。
本研究使用了线性映射方法（PCA以及LDA等）对有4名测试者数据组成的小型非制冷红外数据库进行试验（控制室内环境）。
本研究的试验结果同上述各方法不同，文章采用了更简单的人脸提取方法，文中没有尝试去定位人眼位置（应为在红外图像中定位人眼要比在可见光图像中困难的多），相反，本文重点确定脸部边缘并且只提取人脸部分，这在以前的研究中将会带来很多不可靠的因素。
另外还研究通过降低最初几个特征向量查看对识别性能的影响。试验结果表明：通过降低前三个特征向量可以可以改善最终的基于PCA机制的分类效果，并且对该小型数据库最佳的分类率仍然是通过LDA方法获得的。
2 Data Collection(数据采集)
在电磁光谱中，红外波谱范围为0.7-1000微米，将摄象机光谱响应设置为310K左右（这是平均人体温度），在该温度上的黑体辐射的峰值大约为10微米波长，所选取的摄像机((IR-160 uncooled IR camera from Infrared Solutions, Incorporated, Minneapolis, MN)波长灵敏度为7-13微米。摄像机通过非制冷微量热型探测器阵列（160*120像素）获取视频帧序列（30帧/秒），这可以在视频监视器上进行播放，并且可能会通过一个8位/像素的RS-232连接器进行连续传输。另外无需TE冷却器来保持非制冷微量热型探测器阵列的温度稳定，并且通过一个内置快门可以进行周期性校准由于周围变化引起的移相。摄像机(有f/0.8Gelens)的温度分辨率为60 mK，这是普通制冷摄像机的温度分辨率的2倍，其特别分辨率[special resolution]要比Chen, Flynn和Bowyer所使用的摄像机低4倍。
该研究的目的就是确定摄像机的低维空间和温度分辨率对识别性能的影响。
图像获取步骤右下图所示。摄像机固定于三脚架上，测试者距摄像机为90cm，每人提供3类各10幅图像(通过要求测试者盯着墙上的九个标记来诱发角度和倾斜变化，第十张图像为随机角度；三类表情：Neutral、Smiling，第三种表情要求测试者发元音U)。在获取每张图像之前，通过内置快门对非制冷微量热型探测器阵列的偏差进行校准。最终通过14名成年志愿者提供了420张图像，数据库样本如图所示。接下来对图像进行剪裁来提取60*45像素的只脸(Face-Only)区域[不包含耳朵和头发]。
3 Face Recognition Schemes(人脸识别方法)
当前广泛使用的人脸识别方法是基于特征脸方法(PCA)和Fisherface(LDA)方法或者它们的变形的。这些方法主要是将图像信息通过一个线性映射转换成一个低维空间，其分辨操作在最后完成。对于获得的数据通常分为训练(training),图库(gallery)和测试(probe)集。本研究的主要工作集中于识别问题，将所获得的数据进行随机选取分成两个不相关的集合：Gallery（类似于训练集）和测试集。其中Gallery集用于选取投影参数。当从Gallery中计算出投影方向之后，类特定(class-specific)质心也可能会通过计算投影的每类训练数据的平均值获得，由此生成一个最小距离分类器[minimum distance classifier]。接下来，将通过使用PCA或LDA获得的投影矩阵用于测试集，可以计算获得投影测试集图像间的距离和每一类的质心。通过选取同投影测试集的欧几里得范数最相近的一类进行分类决策。
所选取的数据库相对较小，因此设计了一种用于估计分类性能的交叉验证变型方法来估计基于”重采样”（Resampling）的一般误差并求多重测试子集的平均识别性能。随机选取的Gallery集中包含了每一类的60%的图像，通过Gallery集获得投影方向和类质心；测试集包含了剩余的40%的图像，通过测试集来测试系统的性能。将这种数据分割和分类处理重复3000次，每个个体的图像数目保持不变，整体的分类性能为所有重复测试的平均性能。
3.1 Principal Component Analysis Algorithm(主元分析算法)
PCA方法是一种降低数据集维数的线性映射方法，并将数据集中尽可能多的变化信息表现出来。因此，虽然PCA方法最适合于压缩应用，尽管不能保证所保留的单元最适合于区分目的，但PCA也成功地应用于很多分类问题。本试验所采集的所有60*45的裁剪图像变形为一个2700*1的P维行向量xi ，接下来使用C类数据子集[训练集]的N维代表子集 生成PCA投影矩阵 ，其中全域散布S定义为为：
m代表数据集样本均值，将上式变形可得：
Y称之为数据矩阵，投影矩阵 对应于K维特征向量（S的K个最大特征向量），其中特征空间的维数K（<N）由用户自己定义。接下来，最终K维PCA数据特征 定义为：
基于主元分析的投影方向的最大值同数据维数有关，但是有些投影方向会被抛弃（因为其所对应的特征值接近于0）。在本试验中，只有当投影方向所对应的特征值最小为最大值的0.1%时才有用。试验结果表明：只考虑前40多个特征向量用于研究数据，其分类性能并没有增高。
在可见光图像人脸识别研究中已经考虑通过去除PCA投影矩阵中的第一个特征向量来降低光照变化可能带来的影响。尽管该方法并不直接使用与IR图像，但我们研究了该去除操作是如何影响基于PCA的分类性能的。图四画出了在本研究中使用不同基于PCA的分类方法获得的累积匹配值，并通过前面描述的60/40 交叉验证变型方法进行重复评估3000次。累积匹配值(或者说Rank Score)代表了最高相似值的数目，通过正确识别百分率的函数获得。基于PCA的方法包括使用全部特征向量、前100、前40 [无去除]和前40（去除第一个至前五个特征向量）。下表列出了同时获得的这些方法中每一类的出错率百分比。从中可以看到在PCA方法中通过去除前几个特征向量后的识别效果明显增长，类似于在VR识别中的结论，但是当去除的特征向量超过3个时，识别性能开始下降。该结论对于更大型的数据库是有区别的。结果表明当去除前三个特征向量后可以获得最佳的基于PCA整体的分类性能（91.33%）。
图五画出了不同类型的基于PCA方法的平滑错误率柱状图，另外该图也表明当去除前三个特征向量后的识别性能达到最佳。
3.2 Linear Discriminant Analysis Algorithm(线性判别式分析)
线性判别式方法更适合于分类应用，因为其寻找的投影方向真正反映了不同类别间的差别。最初的方法来源于Fisher用于解决二类问题的方法，最后推广到C类问题(C>2)。通常的LDA问题可以写成下述类型的广义特征值问题：
其中C类问题中类内和类间离散度矩阵SW 和 SB 分别为：
mi和ni代表第i类均值和样本数量，m对应着整体的平均向量。生成的最佳投影矩阵Wopt包含了同上面特征值问题中最大特征值有关的特征向量
注意到类内P*P离散度矩阵SW通常是奇异矩阵，因为其行数最多为N-C，N和C分别为图像数目和类的数目，且图像数目要少于每张图像中的像素数。奇异点问题可以通过在第一次将图像集映射到低维空间（其类内离散度矩阵SW是非奇异的）来避免。第一次使用PCA进行降维处理后，特征空间的维数降为N-C，然后按照以前文献[Eigenface vs.Fisherface: recognition using class specific linear projection]中的方法，使用标准LDA方法进一步把维数降为C-1。图四中包含了通过LDA分类方法获得的累积匹配值，表一列出了每类的平均错误率百分比。结果表明：LDA的分类性能要明显优于最佳PCA分类方法，其整体分类性能为99.3%。
接下来通过画出测试个体的图像同14个Gallery图库质心的距离来研究基于LDA最小距离分类器在应用中的鲁棒性。图六画出了测试个体1与全部Gallery集中的类特定质心（class-specific cluster）间的最大、最小和平均距离。从中可以看出，测试个体1同类1质心间的距离要明显小于同其他类间的距离，表明类特定质心非常可以很好的用于分类问题，并使分类决策变得更加简单。
3.3 Computational Issues
PCA算法和LDA算法的训练阶段的计算量很大，其中包括全部离散度矩阵 的特征分解计算，这一般需要 的复杂度（p为待分解矩阵的维数）。
然而，考虑到该过程在分类器设计中只进行一次，而包含投影操作（矩阵/向量乘法）的测试阶段的计算量相对较低且也只进行一次。另外通过使用快照法（Snapshot Method）也可以减少在训练阶段的计算复杂性[参考文献：]。
本文中的数据库包含了14个个体每人30张图像，且60%的图像用于训练集，所以最终训练阶段的矩阵Y和离散度矩阵S的大小分别为2700*252和2700*2700。然而，通过使用快照方法和特征分解操作可以明显降低计算量。
4 Conclusions （结论）
所用仪器、实验环境及数据库的获取
实验结果：人脸的提取、最佳分类性能（使用基于LDA的分类方法要优于使用基于PCA的分类器）、基于PCA方法的性能改进方法（取出前三个具有最大特征值的特征向量）
当前研究方向：扩大数据库、使用非线性映射方法
