Augmentation For GAN

目录

• 概
• 主要内容
  • Differentiable Augmentation
  • Adaptive Augmentation
• 代码

Zhao S., Liu Z., Lin J., Zhu J. and Han S. Differentiable Augmentation for Data-Efficient GAN Training. NIPS, 2020.

Karras T., Aittala M., Hellsten J., Laine S., Lehtinen J. and Alia T. Training Generative Adversarial Networks with Limited Data. NIPS, 2020.

概

Augmentation 在分类识别中已经是非常常用的技术了, 但是在GAN中却并不多用, 究其原因主要是:

1. Augmentation容易泄露导致生成器最后拟合的是变换后的分布;
2. 技术上, augment之后是否保留梯度(这个其实是我个人的想法, 总觉得augmentation只能施加在图片上, 原来大部分augmentation都可以直接在tensor上实现, 虽然这可能不是现成的).

主要内容

Differentiable Augmentation

添加augmentation有三种策略:

1. $T(x)$, 仅对真实样本施加, 显然这种情况会让生成器学到恶心的东西;
2. $T(x), T(G(z))$, 对二者都施加, 但仅用于训练判别器;
3. $T(x), T(G(z))$, 对二者都施加, 同时训练生成器, 当然这就要求augmentation不破坏梯度.

本文采取的就是第三种策略.

Adaptive Augmentation

这篇文章有一个点我觉得很有意思, 其认为augmentation应当是'invertible'的.
倘若我们对一个生成的图片施加随机的旋转: 0, 90, 180, 270, 那么显然, 最后的生成器就不一定生成正常视角(0)的图片, 这是因为, 不管生成最后变成 0, 90, 180, 270度的概率都是一样的, 生成器没法判断哪一个才是我们想要的是对的.

所以, 这篇文章认为, 对于每一个augmentation应该添加一个概率$p < 1$, 即按照小于1的概率实施.

虽然代码给出了很多augmentation, 不过最后选择的是比较弱的俩种...

注: Diff_Aug 虽然没有这个概率$p$, 但是它选择的变换都是满足‘invertible'的.

代码

Diff_Aug

Ada_Aug