www.sohu.com/a/159976204_717210
生成模型：基于联合概率~共生关系
判别模型：基于条件概率~因果关系
生成模型之学习数据分布：1)概率密度函数估计 2)数据样本生成
模型目标：训练模型，生成样本模型，学习过程是让两者接近
解决问题：
数据缺失-因为可以用生成模型自己生成数据弥补缺失
生成模型的根节点就是最大似然估计
1、显式密度估计
1)精确密度估计
2)近似密度估计
《1》马尔科夫
《2》变分
2、隐式密度估计
1)马尔科夫链
2）直接生成 -GAN生成对抗网络
GAN：
特点：无监督（有监督的框架，学习是无监督的）、适用隐含码、高维数据
结构：生成器~伪造数据 + 判别器~判别数据是生成的还是伪造的
噪声输入 1*100的向量 -》生成器-》生成的样本数据（假想的真实数据） -》
真是样本数据 -》 判别器
先训练优化判别器，生成器基于判别器的判别不断优化自己的造假能力
生成器：负责生成样本数据
输入为高斯白噪声向量z
输出为样本数据向量x
必须可微分
深度神经网络CNN x = G(z,theda),theda为神经网络参数
判别器：输入为真实或生成的样本数据
输出为真假标签
优化目标：
价值函数
生成器优化方：最小化价值函数-》最大化D（G（z）） ~判别器将生成数据识别为假的概率的log值
判别器优化方：最大化价值函数-》最小化。，最大化D（x)
交替优化达到纳什均衡点
在训练过程中，会把生成模型生成的样本和真实样本随机地传送一张（或者一个 batch）给判别模型 D。判别模型 D 的目标是尽可能正确地识别出真实样本（输出为“真”，或者1），和尽可能正确地揪出生成的样本，也就是假样本（输出为“假”，或者0）。这两个目标分别对应了下方的目标函数的第一和第二项。而生成模型的目标则和判别模型相反，就是尽可能最小化判别模型揪出它的概率。这样 G 和 D 就组成了一个 min-max game，在训练过程中双方都不断优化自己，直到达到平衡——双方都无法变得更好，也就是假样本与真样本完全不可区分。
而在生成器端，它希望让判别器对自己生成的图片尽可能输出为 1，相当于它在于判别器进行对抗。
D-step和G-step ：零和游戏
最终的判别器总体 loss 在 1 左右波动，而 real loss 和 fake loss 几乎在一条水平线上波动，这说明判别器最终对于真假图像已经没有判别能力，而是进行随机判断。
训练算法：
1、执行D-step的minibatch优化k次
随机生成m个随机噪声向量-》聪数据集随机选取m个真实样本-》使用梯度上升优化判别器的代价函数，即最大化价值函数
2、执行G-step的minibatch优化1次
随机生成m个随机噪声向量-》使用梯度下降优化生成器的代价函数，即最小化价值函数
训练过程图：
左边分布主要为真实数据，判别为真，蓝线为1；右边基本为生成的假数据，判别为假
优化到最后蓝线为1/2，即已经判别不出为真还是假，完全靠猜了
模型崩溃：
判别器快速达到最优，能力明显强于生成器
生成器将数据集中生成在判别器最认可的空间点上，即输出多样性很低
WGAN：优化了生成器和判别器的损失函数
模型稳定训练的技巧：
判别器整数步长卷积，生成器小数步长卷积
使用批归一化
去除全连接层
生成器使用relu，输出使用tanh
判别器使用leaky relu
Leaky ReLUs
ReLU是将所有的负值都设为零，相反，Leaky ReLU是给所有负值赋予一个非零斜率。Leaky ReLU激活函数是在声学模型（2013）中首次提出的。以数学的方式我们可以表示为：
https://www.cnblogs.com/chamie/p/8665251.html
ai是（1，+∞）区间内的固定参数。
