Augmentation For GAN

Zhao S., Liu Z., Lin J., Zhu J. and Han S. Differentiable Augmentation for Data-Efficient GAN Training. NIPS, 2020.

Karras T., Aittala M., Hellsten J., Laine S., Lehtinen J. and Alia T. Training Generative Adversarial Networks with Limited Data. NIPS, 2020.

Augmentation 在分类识别中已经是非常常用的技术了, 但是在GAN中却并不多用, 究其原因主要是:

  1. Augmentation容易泄露导致生成器最后拟合的是变换后的分布;
  2. 技术上, augment之后是否保留梯度(这个其实是我个人的想法, 总觉得augmentation只能施加在图片上, 原来大部分augmentation都可以直接在tensor上实现, 虽然这可能不是现成的).

主要内容

Differentiable Augmentation

image-20210414151731197

添加augmentation有三种策略:

  1. T(x), 仅对真实样本施加, 显然这种情况会让生成器学到恶心的东西;
  2. T(x),T(G(z)), 对二者都施加, 但仅用于训练判别器;
  3. T(x),T(G(z)), 对二者都施加, 同时训练生成器, 当然这就要求augmentation不破坏梯度.

本文采取的就是第三种策略.

Adaptive Augmentation

这篇文章有一个点我觉得很有意思, 其认为augmentation应当是'invertible'的.
倘若我们对一个生成的图片施加随机的旋转: 0, 90, 180, 270, 那么显然, 最后的生成器就不一定生成正常视角(0)的图片, 这是因为, 不管生成最后变成 0, 90, 180, 270度的概率都是一样的, 生成器没法判断哪一个才是我们想要的是对的.

所以, 这篇文章认为, 对于每一个augmentation应该添加一个概率p<1, 即按照小于1的概率实施.

虽然代码给出了很多augmentation, 不过最后选择的是比较弱的俩种...

注: Diff_Aug 虽然没有这个概率p, 但是它选择的变换都是满足‘invertible'的.

代码

Diff_Aug

Ada_Aug

posted @   馒头and花卷  阅读(114)  评论(0编辑  收藏  举报
编辑推荐:
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
阅读排行:
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
历史上的今天:
2020-04-14 One Pixel Attack for Fooling Deep Neural Networks
点击右上角即可分享
微信分享提示