3DFace基础---光照估计

　　1、背景

　　在做3D人脸重建，需要对图片做反渲染（从3D模型到2D图片），也就需要用到光照估计。

　　3DMM 的方法里，对形状进行PCA分解，的顶点坐标的均值和基；对每个顶点处的颜色（rgb）作正交分解，得到纹理（texture）的均值和基。

　　Smodel 代表形状模型，ρmodel 代表纹理模型

　　但是3DMM里得到的纹理假定为不包含光照信息，只有（漫）反射（漫反射，albedo）信息的纹理（自己的理解：根据物理知识，物体反射的光由它自己本身的颜色决定,所以反射信息就是这一点处的“本质”颜色

 

2、全局光照（global illumination）估计

　 【A Signal-Processing Framework for Inverse Rendering】这篇论文说明了可以用球谐函数估计全局光照做反渲染的可行性，并且证明了使用前面9个球谐函数基（可以看维基【球谐函数】词条）的时候就能达到99%的近似。

　 (并不能很好的理解球谐函数，毕竟数学物理渣渣....)

　　在使用球谐函数估计人脸3D光照的时候，可以根据【Face Relighting from a Single Image under Arbitrary Unknown Lighting Conditions】这篇论文的指导，找到计算反渲染像素颜色信息的方法。这里说的颜色值，从光照的角度来说，就是光照的强度。

　　公式：

　　

解释下公式： （u,v） 是指在2维图片下一个顶点的坐标，也可以认为成像素的坐标。I(u,v)，即像素值，也就是这点像素的颜色。ρ也就是我们上一个公式里的漫反射情况下的纹理信息。li 是指球谐函数对应的系数。（这里解释下，球谐函数可以认为成一组正交基，可以表示整个空间的光照信息，那么在这组基下的系数 l 即表示在当前场景下的光照组合情况） hi 表示球谐基函数，n 表示的是在该点处的曲面法向量而且是单位法向量。

前9个球谐函数：

　　

 

参考文献：

　　Lee K C, Ho J, Kriegman D J. Acquiring linear subspaces for face recognition under variable lighting[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2005 (5): 684-698.

　　Wang Y, Zhang L, Liu Z, et al. Face relighting from a single image under arbitrary unknown lighting conditions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(11): 1968-1984.