[OpenCV实战]22 使用EigenFaces进行人脸重建

1 背景

1.1 什么是EigenFaces？

1.2 坐标的变化

2 面部重建

2.1 计算新面部图像的PCA权重

2.2 使用EigenFaces进行面部重建

3 参考

在这篇文章中，我们将学习如何使用EigenFaces实现人脸重建。我们需要了解主成分分析（PCA）和EigenFaces。

1 背景

1.1 什么是 EigenFaces ？

在我们之前的文章中，我们解释了Eigenfaces是可以添加到平均（平均）面部以创建新的面部图像的图像。我们可以用数学方式写这个，

其中

F是一张新生成的脸部图像;

Fm是平均人脸图像;

Fi是一个EigenFace(特征脸);

是我们可以选择创建新图的标量系数权重，可正可负。

在我们之前的文章中，我们解释了如何计算EigenFaces，如何解释它们以及如何通过改变权重来创建新面孔。

现在假设，我们将获得一张新的面部照片，如下图所示。我们如何使用EigenFaces重建照片F？换句话说，我们如何找到在上面的等式中使用的权重将产生面部图像作为输出？这正是本文所涉及的问题，但在我们尝试这样做之前，我们需要一些线性代数背景。下图左侧是原始图像。左边的第二个图像是使用250个EigenFaces构建的，第三个图像使用1000个Eigenfaces，最右边的图像使用4000个Eigenfaces。

1.2 坐标的变化

在一个三维坐标系中，坐标轴x，y，z由下图中黑色线条表示。您可以想象相对于原始的x，y，z帧，以（xo, yo,zo）点进行旋转和平移，获得另一组垂直轴。在图2中，我们以蓝色显示该旋转和平移坐标系的轴X'Y'Z’。在X，Y，Z坐标系的点（x，y，z）用红点表示。我们如何找到X'Y'Z'坐标系中点（x'，y'，z'）的坐标？这可以分两步完成。

转换：首先，我们可以以原坐标系点（x，y，z）通过减去新坐标系的原点（xo，yo，zo）来实现平移，所以我们有了一个新的向量（x-xo，y-yo，z-zo）。

投影：接下来，我们需要将（x-xo，y-yo，z-zo）投影到x'，y'，z'上，它只是（x-xo，y-yo，z-zo）的点积，方向分别为x'，y'和z'。下图中的绿线显示了红点到Z'轴上的投影。让我们看看这种技术如何应用于人脸重建。

2 面部重建

2.1 计算新面部图像的 PCA 权重

正如我们在上一篇文章中所看到的，为了计算面部数据的主要成分，我们将面部图像转换为长矢量。例如，如果我们有一组尺寸为100x100x3的对齐面部图像，则每个图像可以被认为是长度为100x100x3=30000的矢量。就像三个数字的元组（x，y，z）代表3D空间中的一个点一样，我们可以说长度为30,000的向量是30,000维空间中的一个点。这个高维空间的轴线就像维坐标轴xyz彼此垂直一样。主成分（特征向量）在这个高维空间中形成一个新的坐标系，新的原点是主成分分析向量平均值。

给定一个新图像，我们找到权重流程如下：

1）矢量化图像：我们首先从图像数据创建一个长矢量。这很简单，重新排列数据只需要一行或两行代码。

2）减去平均向量.

3）主成分映射：这可以通过计算每个主分量与平均向量的差的点积来实现。所给出的点积结果就是权重。

4）组合向量：一旦计算了权重，我们可以简单地将每个权重乘以主成分并将它们加在一起。最后，我们需要将平均人脸向量添加到此总和中。

5）将矢量重置为人脸图像：作为上一步的结果，我们获得了一个30k长的矢量，并且可以将其重新整形为100 x 100 x 3图像。这是最终的图像。

在我们的示例中，100 x 100 x3图像具有30k尺寸。在对2000个图像进行PCA之后，我们可以获得2000维的空间，并且能够以合理的精度水平重建新面部。过去采用30k数字表示的内容现在仅使用2k个数字表示。换句话说，我们只是使用PCA来减少面部空间的尺寸。

2.2 使用 EigenFaces 进行面部重建

假设您已下载代码，我们将查看代码的重要部分。首先，在文件createPCAModel.cpp和createPCAModel.py中共享用于计算平均人脸和EigenFaces的代码。我们在上一篇文章中解释了该方法，因此我们将跳过该解释。相反，我们将讨论reconstructFace.cpp和reconstructFace.py。

代码如下：

C++:

#include "pch.h"
#include <iostream>
#include <fstream>
#include <sstream>
#include <opencv2/opencv.hpp>
#include <stdlib.h>
#include <time.h>

using namespace cv;
using namespace std;


// Matrices for average (mean) and eigenvectors
Mat averageFace;
Mat output;
vector<Mat> eigenFaces;
Mat imVector, meanVector, eigenVectors, im, display;

// Display result
// Left = Original Image
// Right = Reconstructed Face
void displayResult( Mat &left, Mat &right)
{
	hconcat(left,right, display); 	
	resize(display, display, Size(), 4, 4);
	imshow("Result", display);
}

// Recontruct face using mean face and EigenFaces
void reconstructFace(int sliderVal, void*)
{
	// Start with the mean / average face
	Mat output = averageFace.clone();
	for (int i = 0;  i < sliderVal; i++)
	{
		// The weight is the dot product of the mean subtracted
		// image vector with the EigenVector
		double weight = imVector.dot(eigenVectors.row(i)); 

		// Add weighted EigenFace to the output
		output = output + eigenFaces[i] * weight; 
	}

	displayResult(im, output);
}
	

int main(int argc, char **argv)
{

	// Read model file
	string modelFile("pcaParams.yml");
	cout << "Reading model file " << modelFile << " ... " ; 

	FileStorage file(modelFile, FileStorage::READ);
	
	// Extract mean vector
	meanVector = file["mean"].mat();

	// Extract Eigen Vectors
	eigenVectors = file["eigenVectors"].mat();

	// Extract size of the images used in training. 
	Mat szMat = file["size"].mat();
	Size sz = Size(szMat.at<double>(1,0),szMat.at<double>(0,0));

	// Extract maximum number of EigenVectors. 
	// This is the max(numImagesUsedInTraining, w * h * 3)
	// where w = width, h = height of the training images. 
	int numEigenFaces = eigenVectors.size().height; 
	cout <<  "DONE" << endl; 

	cout << "Extracting mean face and eigen faces ... "; 
	// Extract mean vector and reshape it to obtain average face
	averageFace = meanVector.reshape(3,sz.height);
	
	// Reshape Eigenvectors to obtain EigenFaces
	for(int i = 0; i < numEigenFaces; i++)
	{
			Mat row = eigenVectors.row(i); 
			Mat eigenFace = row.reshape(3,sz.height);
			eigenFaces.push_back(eigenFace);
	}
	cout << "DONE" << endl; 

	// Read new test image. This image was not used in traning. 
	string imageFilename("test/satya1.jpg");
	cout << "Read image " << imageFilename << " and vectorize ... ";
	im = imread(imageFilename);
	im.convertTo(im, CV_32FC3, 1/255.0);
	
	// Reshape image to one long vector and subtract the mean vector
	imVector = im.clone(); 
	imVector = imVector.reshape(1, 1) - meanVector; 
	cout << "DONE" << endl; 


	// Show mean face first
	output = averageFace.clone(); 

	cout << "Usage:" << endl 
	<< "\tChange the slider to change the number of EigenFaces" << endl
	<< "\tHit ESC to terminate program." << endl;
	
	namedWindow("Result", CV_WINDOW_AUTOSIZE);
	int sliderValue; 

	// Changing the slider value changes the number of EigenVectors
	// used in reconstructFace.
	createTrackbar( "No. of EigenFaces", "Result", &sliderValue, numEigenFaces, reconstructFace);
	
	// Display original image and the reconstructed image size by side
	displayResult(im, output);
	

	waitKey(0);
	destroyAllWindows(); 
	return 0;
}

Python:

# Import necessary packages
import os
import sys
import cv2
import numpy as np

'''
 Display result
 Left = Original Image
 Right = Reconstructed Face
'''
def displayResult(left, right)	:
	output = np.hstack((left,right))	
	output = cv2.resize(output, (0,0), fx=4, fy=4)
	cv2.imshow("Result", output)

# Recontruct face using mean face and EigenFaces
def reconstructFace(*args):
	# Start with the mean / average face
	output = averageFace
	
	for i in range(0,args[0]):
		'''
		The weight is the dot product of the mean subtracted
		image vector with the EigenVector
		'''
		weight = np.dot(imVector, eigenVectors[i])
		output = output + eigenFaces[i] * weight

	
	displayResult(im, output)
    


if __name__ == '__main__':

	# Read model file
	modelFile = "pcaParams.yml"
	print("Reading model file " + modelFile, end=" ... ", flush=True)
	file = cv2.FileStorage(modelFile, cv2.FILE_STORAGE_READ)
	
	# Extract mean vector
	mean = file.getNode("mean").mat()
	
	# Extract Eigen Vectors
	eigenVectors = file.getNode("eigenVectors").mat()
	
	# Extract size of the images used in training.
	sz = file.getNode("size").mat()
	sz = (int(sz[0,0]), int(sz[1,0]), int(sz[2,0]))
	
	''' 
	Extract maximum number of EigenVectors. 
	This is the max(numImagesUsedInTraining, w * h * 3)
	where w = width, h = height of the training images. 
	'''

	numEigenFaces = eigenVectors.shape[0]
	print("DONE")

	# Extract mean vector and reshape it to obtain average face
	averageFace = mean.reshape(sz)

	# Reshape Eigenvectors to obtain EigenFaces
	eigenFaces = [] 
	for eigenVector in eigenVectors:
		eigenFace = eigenVector.reshape(sz)
		eigenFaces.append(eigenFace)


	# Read new test image. This image was not used in traning. 
	imageFilename = "test/satya2.jpg"
	print("Read image " + imageFilename + " and vectorize ", end=" ... ");
	im = cv2.imread(imageFilename)
	im = np.float32(im)/255.0

	# Reshape image to one long vector and subtract the mean vector
	imVector = im.flatten() - mean; 
	print("Done");
	
	# Show mean face first
	output = averageFace
	
	# Create window for displaying result
	cv2.namedWindow("Result", cv2.WINDOW_AUTOSIZE)

	# Changing the slider value changes the number of EigenVectors
	# used in reconstructFace.
	cv2.createTrackbar( "No. of EigenFaces", "Result", 0, numEigenFaces, reconstructFace)

	# Display original image and the reconstructed image size by side
	displayResult(im, output)

	cv2.waitKey(0)
	cv2.destroyAllWindows()

您可以创建模型pcaParams.yml使用createPCAModel.cpp和createPCAModel.py。该代码使用CelebA数据集的前1000个图像，并将它们首先缩放到一半大小。所以这个PCA模型是在大小（89x109）的图像上训练的。除了1000张图像之外，代码还使用了原始图像的垂直翻转版本，因此我们使用2000张图像进行训练。。但是createPCAModel文件里面没有reisze函数，要自己缩放为89X109分辨率。生成了pcaParams.yml文件，再通过reconstructFace获取人脸。

本文所有代码包括createPCAModel文件见：

https://github.com/luohenyueji/OpenCV-Practical-Exercise

但是图像没有列出，从CelebA数据集下载

http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html