39、GAN原理

1、p(x)是训练集的数据的分布的概率，无需事先知道，网络会自动进行学习，p(x)只是为了方便公式的推导和证明。

2、鉴别器学习真实数据的分布p_r(x)，生成器生成一个假的分布p_g(x)，然后最小化两个分布的距离，在达到纳什均衡时，p_r(x)就会非常的接近p_g(x)，

   

3、训练函数

  

真实的x —> D网络 ==> D(x)，噪声z—>G ==>xg' —>D ==> D(G(x)) 

4、

（1）数学期望：在概率论中，将实验中每次可能产生的结果的概率乘以其结果的总和，反映随机变量平均取值的大小。根据其随机变量的取值范围不同，分为离散型和连续型/

离散型： （E是期望）

  

对于连续型随机变量x，其概率密度函数为f(x)，则X的数学期望E(x)可以表示成微积分的形式

      

 （2）KL散度的定义

KL散度：在信息论中，用生成的概率分布Q来拟合逼近真实的概率分布P时，所产生的信息损耗，即描述两个概率分布的差异，其本身是非对称的

设x是连续型随机变量，其真实概率分布为P(x)，拟合分布概率为Q(x)，则P对Q的KL散度为

    

（3）零和博弈

指参与博弈的双方，在严格的竞争下，一方的收益必然意味着另一方的损失，博弈过程中，双方的各自收益和损失的相加总和永远为零，双方完全不存在合作的可能。下棋双方的每一步棋都是向着自己最有利的方向走，最终只有一方赢一方输，而下棋的总成绩永远为零。GAN也是由博弈双方组成，分别为生成网络G（Generator）和判别网络D（Discriminator）