Generating Faces with Deconvolution Networks

用深度学习做人脸合成，website：https://zo7.github.io/blog/2016/09/25/generating-faces.html

受启发于 Learning to Generate Chairs, Tables, and Cars with Convolutional Networks

模型描述

给定一个数据集

包含：c – the one-hot encoding of the model identity 

        v – azimuth and elevation of the camera position

        Θ – the parameters of additional artificial transformations （增加训练集的数量，减少过拟合）

目标（the RGB output image x， the segmentation mask s）

 

网络结构

“1s-S-deep” model

生成网络模型由两阶段构成：

1. FC-1 to FC-4 建立一个分享的、高维的隐表达 h(c,v,Θ)

2. FC-5 and uconv-1 to uconv-4 （这部分定义为u）生成outputimage和segmentation mask

 

这个 deconvolution network类似于 here, here, or here，首先upsample输入，然后convolution。

该模型建立在Keras上。

网络训练

网络参数W

L_RGB（squared Euclidean）和L_segm（squared Euclidean/negative log-likelihood）是损失函数

用更理论的方法生成新模型，训练一个概率生成模型（FC-2）隐状态z：潜在的椅子图像集合 

定义 a segmentation mask s_i under transformation T_Θi

定义the pixels in an image x_i

log likelihood of an image and its segmentation mask

 

 网络分析

activating neurons of FC-1 and FC-2 feature maps 见下图(最左边是 setting all neurons of the layer

to zero，其余图像是activating one randomly selected neuron) 并没有太大变化

 activating neurons of FC-3 and FC-4 feature maps ，出现视角和类的变化

Images generated from single neurons of the convolutional layers （From top to bottom: uconv-2,

uconv-1, FC-5 of the RGB stream）

接下来，将通过程序进一步理解该模型。