[OpenCV实战]22 使用EigenFaces进行人脸重建
目录
1 背景
1.1 什么是EigenFaces?
1.2 坐标的变化
2 面部重建
2.1 计算新面部图像的PCA权重
2.2 使用EigenFaces进行面部重建
3 参考
在这篇文章中,我们将学习如何使用EigenFaces实现人脸重建。我们需要了解主成分分析(PCA)和EigenFaces。
1 背景
1.1 什么是 EigenFaces ?
在我们之前的文章中,我们解释了Eigenfaces是可以添加到平均(平均)面部以创建新的面部图像的图像。我们可以用数学方式写这个,
其中
F是一张新生成的脸部图像;
Fm是平均人脸图像;
Fi是一个EigenFace(特征脸);
是我们可以选择创建新图的标量系数权重,可正可负。
在我们之前的文章中,我们解释了如何计算EigenFaces,如何解释它们以及如何通过改变权重来创建新面孔。
现在假设,我们将获得一张新的面部照片,如下图所示。我们如何使用EigenFaces重建照片F?换句话说,我们如何找到在上面的等式中使用的权重将产生面部图像作为输出?这正是本文所涉及的问题,但在我们尝试这样做之前,我们需要一些线性代数背景。下图左侧是原始图像。左边的第二个图像是使用250个EigenFaces构建的,第三个图像使用1000个Eigenfaces,最右边的图像使用4000个Eigenfaces。
1.2 坐标的变化
在一个三维坐标系中,坐标轴x,y,z由下图中黑色线条表示。您可以想象相对于原始的x,y,z帧,以(xo, yo,zo)点进行旋转和平移,获得另一组垂直轴。在图2中,我们以蓝色显示该旋转和平移坐标系的轴X'Y'Z’。在X,Y,Z坐标系的点(x,y,z)用红点表示。我们如何找到X'Y'Z'坐标系中点(x',y',z')的坐标?这可以分两步完成。
转换:首先,我们可以以原坐标系点(x,y,z)通过减去新坐标系的原点(xo,yo,zo)来实现平移,所以我们有了一个新的向量(x-xo,y-yo,z-zo)。
投影:接下来,我们需要将(x-xo,y-yo,z-zo)投影到x',y',z'上,它只是(x-xo,y-yo,z-zo)的点积,方向分别为x',y'和z'。下图中的绿线显示了红点到Z'轴上的投影。让我们看看这种技术如何应用于人脸重建。
2 面部重建
2.1 计算新面部图像的 PCA 权重
正如我们在上一篇文章中所看到的,为了计算面部数据的主要成分,我们将面部图像转换为长矢量。例如,如果我们有一组尺寸为100x100x3的对齐面部图像,则每个图像可以被认为是长度为100x100x3=30000的矢量。就像三个数字的元组(x,y,z)代表3D空间中的一个点一样,我们可以说长度为30,000的向量是30,000维空间中的一个点。这个高维空间的轴线就像维坐标轴xyz彼此垂直一样。主成分(特征向量)在这个高维空间中形成一个新的坐标系,新的原点是主成分分析向量平均值。
给定一个新图像,我们找到权重流程如下:
1)矢量化图像:我们首先从图像数据创建一个长矢量。这很简单,重新排列数据只需要一行或两行代码。
2)减去平均向量.
3)主成分映射:这可以通过计算每个主分量与平均向量的差的点积来实现。所给出的点积结果就是权重 。
4)组合向量:一旦计算了权重,我们可以简单地将每个权重乘以主成分并将它们加在一起。最后,我们需要将平均人脸向量添加到此总和中。
5)将矢量重置为人脸图像:作为上一步的结果,我们获得了一个30k长的矢量,并且可以将其重新整形为100 x 100 x 3图像。这是最终的图像。
在我们的示例中,100 x 100 x3图像具有30k尺寸。在对2000个图像进行PCA之后,我们可以获得2000维的空间,并且能够以合理的精度水平重建新面部。过去采用30k数字表示的内容现在仅使用2k个数字表示。换句话说,我们只是使用PCA来减少面部空间的尺寸。
2.2 使用 EigenFaces 进行面部重建
假设您已下载代码,我们将查看代码的重要部分。首先,在文件createPCAModel.cpp和createPCAModel.py中共享用于计算平均人脸和EigenFaces的代码。我们在上一篇文章中解释了该方法,因此我们将跳过该解释。相反,我们将讨论reconstructFace.cpp和reconstructFace.py。
代码如下:
C++:
#include "pch.h"
#include <iostream>
#include <fstream>
#include <sstream>
#include <opencv2/opencv.hpp>
#include <stdlib.h>
#include <time.h>
using namespace cv;
using namespace std;
// Matrices for average (mean) and eigenvectors
Mat averageFace;
Mat output;
vector<Mat> eigenFaces;
Mat imVector, meanVector, eigenVectors, im, display;
// Display result
// Left = Original Image
// Right = Reconstructed Face
void displayResult( Mat &left, Mat &right)
{
hconcat(left,right, display);
resize(display, display, Size(), 4, 4);
imshow("Result", display);
}
// Recontruct face using mean face and EigenFaces
void reconstructFace(int sliderVal, void*)
{
// Start with the mean / average face
Mat output = averageFace.clone();
for (int i = 0; i < sliderVal; i++)
{
// The weight is the dot product of the mean subtracted
// image vector with the EigenVector
double weight = imVector.dot(eigenVectors.row(i));
// Add weighted EigenFace to the output
output = output + eigenFaces[i] * weight;
}
displayResult(im, output);
}
int main(int argc, char **argv)
{
// Read model file
string modelFile("pcaParams.yml");
cout << "Reading model file " << modelFile << " ... " ;
FileStorage file(modelFile, FileStorage::READ);
// Extract mean vector
meanVector = file["mean"].mat();
// Extract Eigen Vectors
eigenVectors = file["eigenVectors"].mat();
// Extract size of the images used in training.
Mat szMat = file["size"].mat();
Size sz = Size(szMat.at<double>(1,0),szMat.at<double>(0,0));
// Extract maximum number of EigenVectors.
// This is the max(numImagesUsedInTraining, w * h * 3)
// where w = width, h = height of the training images.
int numEigenFaces = eigenVectors.size().height;
cout << "DONE" << endl;
cout << "Extracting mean face and eigen faces ... ";
// Extract mean vector and reshape it to obtain average face
averageFace = meanVector.reshape(3,sz.height);
// Reshape Eigenvectors to obtain EigenFaces
for(int i = 0; i < numEigenFaces; i++)
{
Mat row = eigenVectors.row(i);
Mat eigenFace = row.reshape(3,sz.height);
eigenFaces.push_back(eigenFace);
}
cout << "DONE" << endl;
// Read new test image. This image was not used in traning.
string imageFilename("test/satya1.jpg");
cout << "Read image " << imageFilename << " and vectorize ... ";
im = imread(imageFilename);
im.convertTo(im, CV_32FC3, 1/255.0);
// Reshape image to one long vector and subtract the mean vector
imVector = im.clone();
imVector = imVector.reshape(1, 1) - meanVector;
cout << "DONE" << endl;
// Show mean face first
output = averageFace.clone();
cout << "Usage:" << endl
<< "\tChange the slider to change the number of EigenFaces" << endl
<< "\tHit ESC to terminate program." << endl;
namedWindow("Result", CV_WINDOW_AUTOSIZE);
int sliderValue;
// Changing the slider value changes the number of EigenVectors
// used in reconstructFace.
createTrackbar( "No. of EigenFaces", "Result", &sliderValue, numEigenFaces, reconstructFace);
// Display original image and the reconstructed image size by side
displayResult(im, output);
waitKey(0);
destroyAllWindows();
return 0;
}
Python:
# Import necessary packages
import os
import sys
import cv2
import numpy as np
'''
Display result
Left = Original Image
Right = Reconstructed Face
'''
def displayResult(left, right) :
output = np.hstack((left,right))
output = cv2.resize(output, (0,0), fx=4, fy=4)
cv2.imshow("Result", output)
# Recontruct face using mean face and EigenFaces
def reconstructFace(*args):
# Start with the mean / average face
output = averageFace
for i in range(0,args[0]):
'''
The weight is the dot product of the mean subtracted
image vector with the EigenVector
'''
weight = np.dot(imVector, eigenVectors[i])
output = output + eigenFaces[i] * weight
displayResult(im, output)
if __name__ == '__main__':
# Read model file
modelFile = "pcaParams.yml"
print("Reading model file " + modelFile, end=" ... ", flush=True)
file = cv2.FileStorage(modelFile, cv2.FILE_STORAGE_READ)
# Extract mean vector
mean = file.getNode("mean").mat()
# Extract Eigen Vectors
eigenVectors = file.getNode("eigenVectors").mat()
# Extract size of the images used in training.
sz = file.getNode("size").mat()
sz = (int(sz[0,0]), int(sz[1,0]), int(sz[2,0]))
'''
Extract maximum number of EigenVectors.
This is the max(numImagesUsedInTraining, w * h * 3)
where w = width, h = height of the training images.
'''
numEigenFaces = eigenVectors.shape[0]
print("DONE")
# Extract mean vector and reshape it to obtain average face
averageFace = mean.reshape(sz)
# Reshape Eigenvectors to obtain EigenFaces
eigenFaces = []
for eigenVector in eigenVectors:
eigenFace = eigenVector.reshape(sz)
eigenFaces.append(eigenFace)
# Read new test image. This image was not used in traning.
imageFilename = "test/satya2.jpg"
print("Read image " + imageFilename + " and vectorize ", end=" ... ");
im = cv2.imread(imageFilename)
im = np.float32(im)/255.0
# Reshape image to one long vector and subtract the mean vector
imVector = im.flatten() - mean;
print("Done");
# Show mean face first
output = averageFace
# Create window for displaying result
cv2.namedWindow("Result", cv2.WINDOW_AUTOSIZE)
# Changing the slider value changes the number of EigenVectors
# used in reconstructFace.
cv2.createTrackbar( "No. of EigenFaces", "Result", 0, numEigenFaces, reconstructFace)
# Display original image and the reconstructed image size by side
displayResult(im, output)
cv2.waitKey(0)
cv2.destroyAllWindows()
您可以创建模型pcaParams.yml使用createPCAModel.cpp和createPCAModel.py。该代码使用CelebA数据集的前1000个图像,并将它们首先缩放到一半大小。所以这个PCA模型是在大小(89x109)的图像上训练的。除了1000张图像之外,代码还使用了原始图像的垂直翻转版本,因此我们使用2000张图像进行训练。。但是createPCAModel文件里面没有reisze函数,要自己缩放为89X109分辨率。生成了pcaParams.yml文件,再通过reconstructFace获取人脸。
本文所有代码包括createPCAModel文件见:
https://github.com/luohenyueji/OpenCV-Practical-Exercise
但是图像没有列出,从CelebA数据集下载
http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html
3 参考
https://www.learnopencv.com/face-reconstruction-using-eigenfaces-cpp-python/
本文来自博客园,作者:落痕的寒假,转载请注明原文链接:https://www.cnblogs.com/luohenyueji/p/16990944.html
![](https://gitcode.net/LuohenYJ/article_picture_warehouse/-/raw/main/wechat/content/%E5%8A%A0%E6%B2%B9%E9%B8%AD.gif)