KL散度(Kullback–Leibler divergence):用于刻画概率分布Q拟合概率分布P的程度,P为真实数据的概率分布,Q为随机噪声生成数据的概率分布,对抗的目的是让Q充分拟合P,如果Q拟合P不充分,就会产生信息损耗,整个信息损耗就是P和Q的KL散度。
离散的概率分布公式定义:
连续的概率分布定义:
想要将一个随机高斯噪声z通过生成网络G得到一个和真实数据分布Pdata(x)差不多的生成分布PG(x;Θ),其中参数Θ是网络的参数决定的,希望找到Θ使得PG(x;Θ)和Pdata(x)尽可能接近。
判别器D中D是一个函数,用来衡量PG(x)和Pdata(x)之间的差距,可用来取代极大似然估计。