ACGAN 论文笔记

《Conditional Image Synthesis With Auxiliary Classifier GANs》

Odena A, Olah C, Shlens J. Conditional Image Synthesis With Auxiliary Classifier GANs[J]. 2016.

目的：合成（synthesis）高分辨率图像
方法：提出一种新的变种条件标签GAN

贡献：提出ACGAN，提出新的生成图片质量（可判别性和多样性 discriminability and diversity of samples）评估方法Inception Accuracy和MS-SSIM，得出结论：高分辨图片在ACGAN下可以更为准确地做classification（Across 1000 ImageNet classes, 128 _ 128 samples are more than twice as discriminable as artificially resized 32 _ 32 samples. In addition, 84.7% of the classes have samples exhibiting diversity comparable to real ImageNet data.1）。

核心：In this work we demonstrate that that adding more structure to the GAN latent space along with a specialized cost function results in higher quality samples.

 

模型架构：

 

Loss函数：

The objective function has two parts: the log-likelihood of the correct source, LS, and the log-likelihood of the correct class, LC.

 

 

D is trained to maximize LS + LC while G is trained to maximize LC -LS.

 

Inception accuracy：

OpenAI提出Inception Score用以评价合成图像的真假，本文作者认为在生成图像不符合人的视觉感知时，Inception Score依然可能会很高，所以评判不准确。于是，作者将合成的图像输入训练好的Inception V3模型，对比模型的分类准确率。

 

 

不同分辨率的生成图片的Inception accuracy对比，人工降低分辨率后，accuracy也随之降低，说明生成的高分辨率图片不仅含有像素信息，还有一些帮助提高accuracy的信息。

总结：ACGan立足添加标签约束，以提高（高分辨率）图片生成质量，并提出新的生成图片质量和模式坍塌衡量标准。作者在附录中阐明了标签数量对模型稳定性的影响，实验中训练了100个AC-GAN，每个对10个标签进行分类。本文没有过多与其他现有的生成模型进行比较测试。