perceptual loss

 https://arxiv.org/abs/1603.08155

 

两个网络：image transfer网络和loss网络

image transfer网络：

将输入图片y通过映射f W (x)得到输出图片ŷ （ŷ = f W (x)）

loss网络（取预训练好的VGG）

原因：VGG是用来做图像分类的，预训练好的VGG网络已经可以学习对感知信息和语义信息进行编码，使用VGG作为固定的损失网络来定义损失函数。

其中损失函数包括两部分：

1.内容损失：

 

2.风格损失：

 

φ j (x)是输入x在第j层卷积层上输出的特征图，定义损失函数中的Gram matrix G φj (x)：

网络结构：

损失网络实际上只是取代了我们常用的L2 loss等函数，image transform net的输入分别是style target和content target；两张图片，得到的输出为一张既包含content也包含style的图片ŷ，接着ŷ分别与gt图像和style图像做回归。