GAN、DCGAN、WGAN、SRGAN 演变与改进
GAN
生成网络接收一个随机噪声，生成逼真图像;
判别网络接收一个图像，生成该图像是真实的概率（0～1）;
GAN网络中存在两个不同的网络，训练方式采用的是对抗训练方式，其中G的梯度更新信息来自于判别器D，而不是来自数据样本。
GAN不适合处理离散形式的数据，比如文本。
使用JS散度作为距离公式
DCGAN
DCGAN（deep convolutional generative adversarial networks）采用深度卷积的生成对抗网络。
改进
1. 取消Pooling层，改用加入stride的卷积代替。同时用卷积替代了全连接层。
2. 在D和G网络中均加入BN层。
3. G网络使用ReLU作为激活函数，最后一层使用tanh。
4. D网络中使用LeakyReLU作为激活函数
5. 使用adam优化器训练
WGAN
WGAN使用了新的距离定义 Wasserstein Distance（推土机距离），在理论上给出了GAN训练不稳定的原因，即交叉熵（JS散度）不适合衡量具有不相交部分的分布之间的距离，转而使用wassertein距离去衡量生成数据分布和真实数据分布之间的距离，理论上解决了训练不稳定的问题。
Wasserstein距离又叫Earth Mover's Distance(EMD，推土机距离)，参考： 几个常用的计算两个概率分布之间距离的方法以及python实现
WGAN的提升
1. 解决了GAN训练不稳定的问题，不再需要小心平衡生成器和判别器的训练程度;
2. 几乎解决了mode collapse（模式崩溃）问题，保证生成样本的多样性;
3. 提供了具有意义的价值函数，可以分别判断判别器和生成器是否已经收敛。（原始GAN中如果D的效果不好，我们不知道是G生成的好，还是D判别的不好）
WGAN的改进
1. 去掉最后一层的sigmoid
2. 生成器和判别器的loss不取log
3. 限制更新后的权重的绝对值到一定范围内
4. 使用RMSprop或SGD优化，不建议使用基于动量或Adam的优化算法
SRGAN
SRGAN损失函数
生成器损失函数分为 内容loss 和 对抗网络 loss;
内容损失又包括 像素空间的最小均方差和VGG特征的欧式距离。
