生成对抗网络（GAN）

　　GAN的全称是 Generative Adversarial Networks，中文名称是生成对抗网络。原始的GAN是一种无监督学习方法，巧妙的利用“博弈”的思想来学习生成式模型。

1 GAN的原理

　　GAN的基本原理很简单，其由两个网络组成，一个是生成网络G（Generator） ，另外一个是判别网络D（Discriminator）。它们的功能分别是：

　　生成网络G：负责生成图片，它接收一个随机的噪声 $z$，通过该噪声生成图片，将生成的图片记为 $G(z)$。

　　判别网络D：负责判别一张图片是真实的图片还是由G生成的假的图片。其输入是一张图片 $x$ ，输出是0， 1值，0代表图片是由G生成的，1代表是真实图片。

　　在训练过程中，生成网路G的目标是尽量生成真实的图片去欺骗判别网络D。而判别网络D的目标就是尽量把G生成的图片和真实的图片区分开来。这样G和D就构成了一个动态的博弈过程。这是GAN的基本思想。

　　在最理想的状态下，G可以生成足以“以假乱真”的图片 $G(z)$。对于D来说，它难以判断G生成的图片究竟是不是真实的，因此 $D(G(z)) = 0.5$ （在这里我们输入的真实图片和生成的图片是各一半的）。此时得到的生成网络G就可以用来生成图片。

 

2 GAN损失函数

　　从数学的角度上来看GAN，假设用于训练的真实图片数据是 $x$，图片数据的分布为 $p_{data}(x)$，生成网络G需要去学习到真实数据分布 $p_{data}(x)$。噪声 $z$ 的分布假设为$p_z(z)$，在这里 $p_z(z)$是已知的，而 $p_{data}(x)$ 是未知的。在理想的状态下$G(z)$ 的分布应该是尽可能接近$p_{data}(x)$，G将已知分布的$z$ 变量映射到位置分布 $x$ 变量上。

　　根据交叉熵损失，可以构造下面的损失函数：

　　$ V(D,G) = E_{x~p_{data}(x)} [ln D(x)] + E_{z~p_z(z)} [ln(1-D(G(z)))] $

　　其实从损失函数中可以看出和逻辑回归的损失函数基本一样，唯一不一样的是负例的概率值为 $ 1-D(G(z))$。

　　损失函数中加号的前一半是训练数据中的真实样本，后一半是从已知的噪声分布中取的样本。下面对这个损失函数详细描述：

　　1）整个式子有两项构成。 $x$表示真实图片，$z$表示输入G网络的噪声，而$G(z)$ 表示G网络生成的图片。

　　2）$D(x)$ 表示D网络判断真实图片是否真实的概率 ，即 $P(y=1 | x)$。而$D(G(z))$ 是D网络判断$G$生成的图片是否真实的概率。

　　3）G的目的：G应该希望自己生成的图片越真实越好。也就是说G希望 $D(G(z))$ 尽可能大，即$P(G(z) = 1 | x)$，这时 $V(D, G)$ 尽可能小。

　　4）D的目的：D的能力越强，$D(x)$ 就应该越大，$D(G(x))$应该越小（即假的图片都被识别为0）。因此D的目的和G的目的不同，D希望 $V(D, G)$ 越大越好。

 

3 GAN建模流程

　　在实际训练中，使用梯度下降法，对D和G交替做优化，具体步骤如下：

　　1）从已知的噪声分布 $p_z(z)$中选取一些样本

　　　　${z_1, z_2, ......, z_m}$

　　2）从训练数据中选出同样个数的真实图片

　　　　${x_1, x_2, ......, x_m}$

　　3）设判别器D的参数为 $\theta_d$，其损失函数的梯度为

　　　　$ \nabla \frac{1}{m} \sum_{i=1}^m [lnD(x_i) + ln(1-D(G(Z_I)))] $

　　4）设生成器G的参数为 $\theta_g$，其损失函数的梯度为

　　　　$ \nabla \frac{1}{m} \sum_{i=1}^m [ln(1-D(G(Z_I)))] $

　　在上面的步骤中，每更新一次D的参数，紧接着就更新一次G的参数，有时也可以在更新 $k$ 次D的参数，再更新一次G的参数。