CycleGAN

目录

• Cycle-GAN
  • 方法
    • 损失
      • 对抗损失 Adversarial loss
      • 循环一致性损失 Cycle Consistency Loss
      • 总损失
      • 生成器
      • 判别器
  • 评估
    • AMT
    • FCN
    • Semantic segmentation metrics

Cycle-GAN

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks paper

方法

损失

对抗损失 Adversarial loss

\(\mathcal{L}_{GAN}(G,D_Y,X,Y)=\mathbb{E}_{y \backsim p_{data}(y)}[\log D_Y(y)] +\mathbb{E}_{x \backsim p_{data}(x)}[\log(1-D_Y(G(x)))]\)

循环一致性损失 Cycle Consistency Loss

\(\mathcal{L}_{cyc}(G,F)= \mathbb{E}_{x \backsim p_{data}(x)}[\|F(G(x))-x\|_1] +\mathbb{E}_{y \backsim p_{data}(y)}[\|G(F(y))-y\|_1]\)

总损失

\(\mathcal{L}(G,F,D_X,D_Y)=\mathcal{L}_{GAN}(G,D_Y,X,Y) + \mathcal{L}_{GAN}(F,D_X,X,Y)+\lambda\mathcal{L}_{cyc}(G,F)\)

生成器

编码：利用卷积神经网络从输入图象中提取特征。将图像压缩成256个64*64的特征向量。

转换：通过组合图像的不相近特征，将图像在DA域中的特征向量转换为DB域中的特征向量。作者使用了6层Reset模块，每个Reset模块是一个由两个卷积层构成的神经网络层，能够达到在转换时同时保留原始图像特征的目标。

解码：利用反卷积层（decovolution）完成从特征向量中还原出低级特征的工作，最后得到生成图像。

判别器

70 × 70 PatchGANs

鉴别器本身属于卷积网络，需要从图像中提取特征，再通过添加产生一维输出的卷积层来确定提取的特征是否属于特定类别。

评估

AMT

Amazon Mechanical Turk

FCN

The FCN metric evaluates how interpretable the generated
photos are according to an off-the-shelf semantic segmentation algorithm (the fully-convolutional network, FCN)

Semantic segmentation metrics

Cityscapes benchmark