Generalization and Equilibrium in Generative Adversarial Nets

Paper link: https://arxiv.org/abs/1703.00573

Blog link: http://www.offconvex.org/2017/03/30/GANs2/

Github: https://github.com/PrincetonML/MIX-plus-GANs

 

作者指出原先的工作都假设Discriminator有无限的表示能力，但是其实当Discriminator表示能力有限的时候，Generator只需要拟合一部分训练数据就能把损失函数降到比较小的值。这说明扩大训练样本对于训练GAN没有太大的作用，而且Generator的diversity也受到了限制。作者提出了MIX+GAN的模型，一个是增强了Discriminator的能力，一个是让其训练能够收敛到一个波动范围内的均衡点。作者在算法中加入熵正则项，防止混合模型坍缩为单个模型。理论分析很多，但个人感觉实验效果也不是很明显。