GAN 生成对抗模型

机器学习模型有两大类，第一种是分辨模型（这里的分辨我理解为让模型分辨/理解/识别数据），即判断数据的类别或输出一个预测。第二类是生成模型，即生成数据本身

李沐认为GAN的摘要非常简洁，是可以直接写进教科书的写法。如果你提出的是一个全新的东西，并且你认为它是能写进教科书的话，那你整篇文章关键在于讲清楚自己是谁。如果是基于别人的工作做的，就要讲清楚自己和别人不一样的地方

摘要：我们提出了一个framwork（一般来说都叫Model，更小的可能叫module，framwork说明是一个很大的东西），用于（通过一个叫做对抗的过程）估计一个生成模型。在这之中我们会同时训练两个模型，一个是生成模型G，用于抓住数据的分布（在统计学眼里，整个数据是通过采样不同的分布来得到的），另外一个是辨别模型D，用于估计样本到底是真实的还是生成的。G的任务是尽可能的让D犯错，最终G能够学习到训练集的分布方式，使得D分不清生成内容的真假。

 

导论：深度学习是用来发现一些丰富且有层次的模型，它能够对各种数据做一个概率分布的表示。也就是说，深度学习不仅仅是指深度神经网络，它主要是指对整个数据分布的特征表示。目前，虽然深度学习在辨别模型上取得了很大进展，但生成模型上还比较差，这个困难来自于我们去最大化似然函数的时候，需要近似一些概率计算，这个近似带来很大困难（这句话的意思是说，之前的生成模型是找到想要结果的真实分布，相当于物理模型，而非数据驱动模型。要准确找到这样一个模型是非常困难的）。所以GAN提出一种新的途径避免这个问题

（我对GAN的大致原理之前已有过了解，且与我目前方向差距较大，暂时不做详细笔记了）

生成器和鉴别器互相博弈并且是同时训练的。GAN的目标函数中将鉴别器鉴别一个真实一个伪造的结果，把两个结果加起来。注意，这里的目标函数设计为鉴别器成功区分真假为大值，没有成功区分为小值。所以生成器和鉴别器的训练方向分别是将这个值最小化和最大化，也就是说鉴别器要尽可能准确，生成器要尽可能让鉴别器犯错。