常用的对抗生成网络GANs

常用的对抗生成网络GAN

 

1、GAN的应用领域

目前，GAN的应用领域有：图像生成、文本到图像的合成、人脸老化、图像到图像的变换、视频合成、高清图像生成、补全缺损图像。

图像生成。在简单的图像数据上训练后的生成网络可生成逼真的图像。例如想生成新的狗狗图像，就可以在成千上万的狗狗图像的数据集上训练一个GAN。训练完成之后，生成网络就可以生成一些不同于训练集的新图像。图像生成可用于市场营销、logo制作、娱乐和社交媒体等领域。下一章会介绍动画人物面部图像的生成。

文本到图像的合成。GAN的一个有趣应用是基于文本生成图像。这对于电影行业来说很有用，因为GAN可以基于一段文本生成新的图像数据。对于漫画行业，它甚至可以自动生成一段故事。

人脸老化。该应用对娱乐行业和监控领域都很有用，尤其是对于人脸验证方面，因为企业无须在员工的年龄增长之后更新安防系统了。Age-cGAN可以生成不同年龄的图像，可用于构建强大的人脸验证模型。

图像到图像的变换。图像到图像的变换可用于将白天拍摄的图像转换成夜晚拍摄的图像，将草图转换成绘画，将图像转换成毕加索或者梵高的风格，将航拍图自动转换成卫星图像，以及把马的图像转换成斑马的图像，等等。这些应用有助于节约时间，非常具有开创性。

视频合成。GAN也可以用于生成视频。用GAN生成内容快于人工创作，可以提高电影制作效率，也能帮助那些希望在业余时间制作创意视频的爱好者。

高清图像生成。GAN可以为用低像素相机拍摄的照片生成高清版，同时不损失任何关键细节。这有助于设计网站。

补全缺损图像。如果图像缺失了某些部分，GAN可以帮助恢复。

 

2、GAN的变体

GAN自从2014年被提出依赖，已经有上千种变体。六种常见的变体是DCGAN、StackGAN、CycleGAN、3D-GAN、Age-GAN和pix2pix。

DCGAN是Alec Radford、Luke Metz和Soumith Chintala在论文“Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks”中首次提出了深度卷积生成对抗网络（deep convolutional GAN，DCGAN）。普通GAN通常不包含CNN，DCGAN将其引入了GAN。经常使用DCGAN生成动画人物面部图像。

StackGAN是由Han Zhang、Tao Xu、Hongsheng Li等人在论文“StackGAN: Text to PhotoRealistic Image Synthesis with Stacked Generative Adversarial Networks”中首次提出的。他们使用StackGAN进行文本到 图像的合成，效果极佳。StackGAN可以基于文本生成逼真图像。经常使用StackGAN基于文本生成逼真的图像。

CycleGAN是由Jun-Yan Zhu、Taesung Park、Phillip Isola和Alexei A. Efros在论文“Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks”中首次提出的。CycleGAN有一些非常有趣的应用，例如将照片转换成绘画（或者反过来），将夏天拍摄的照片转换成冬天拍摄的照片（或者反过来），以及将马的图像转换为斑马的图像（或者反过来）。

3D-GAN是由Jiajun Wu、Chengkai Zhang、Tianfan Xue、William T. Freeman以及Joshua B. Tenenbaum在论文“Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling”中首次提出的。生成物体的3D模型在制造业和3D模型产业都有广泛用途。在物体的3D模型数据上训练之后，3D-GAN可以为不同物体生成新的3D模型。

Age-cGAN是由Grigory Antipov、Moez Baccouche和Jean[1]Luc Dugelay在论文“Face Aging with Conditional Generative Adversarial Networks”中首次提出的。人脸老化用途广泛，包括跨年龄人脸识别、找寻失踪儿童以及娱乐应用等。

pix2pix是由Phillip Isola、Jun-Yan Zhu、Tinghui Zhou和Alexei A. Efros在论文“Image-to-Image Translation with Conditional Adversarial Networks”中首次提出的。pix2pix网络和CycleGAN有相似的应用，可以将建筑标签转换成建筑图像，将黑白图像转换成彩色图像，将白天拍摄的照片转换成夜间拍摄的照片，将草图转换成照片，以及将航拍图像转换成地图图像。

　如感兴趣，可阅读Avinash Hindupur的文章“GAN Zoo”，里面列举了现有的所有GAN。https://github.com/hindupuravinash/the-gan-zoo

参考文献

《生成对抗网络项目实战》[印]凯拉什·阿伊瓦著倪琛译 2019