CVPR2017_Learning Detailed Face Reconstruction from a Single Image

Author

Elad Richardson, Matan Sela 伊利诺伊大学phd, 两人好基友，一起发了很多篇关于3D face 重建的论文

Abstract

对于从单张图片生成人脸３Ｄ模型，之前的工作都是使用additional data

本文用end to end的CNN结构分两阶段进行 coarseNet-> FineNet

因为没有合适的用于CNN的人脸重建数据集，我们是使用合成训练数据

CoarseNet是使用的3DMM用以生成粗粒度人脸几何模型

FineNet用之前生成的粗粒度的深度图作为输入，然后希望还原人脸的细节，这里通过使用无标签的人脸数据进行无监督训练

为了连接CoarseNet和FineNet, 我们提出了一个新层，将3DMM的表示和pose参数作为输入从而产生深度图， 喂入FineNet

新层可以支持梯度反传播，所以这两个网络可以同时训练

CNN用来人脸3D建模的潜力可见：

3D face reconstruction by learning from synthetic data(3D Vision 2016)

 However, their network can only produce the coarse geometry, and must be given an aligned template model as initialization. These limitations force their solution to depend on external algorithms for pose alignment and detail refinement.

这篇论文的两个部分都是受别人论文的启发，只不过作者能把他拼接起来而且效果很好