基于在线图像优化的慢速图像风格化迁移算法(Slow Neural Method Based On Online Image Optimisation)

主体思路:人造 一张图片,计算这张图片 和 内容图像 的 内容损失,和 风格图像的 风格损失,加权和作为总体损失 ,然后调整图片,减小损失,整个过程 是在训练 图片

内容损失采用 mse,风格 损失采用 gram 矩阵;

输出直接是一张图片;

效率较低,效果较好;

 

基于离线模型优化的快速图像风格化迁移算法(Fast Neural Method Based On Offline Model Optimisation)

主体思路:与上面不同, 通过一个网络得到一张图片,然后计算 内容损失和风格损失,然后 调整网络,减小  loss,整个过程 在训练网络

内容损失采用 mse,风格 损失采用 gram 矩阵;

输出一个网络;

效率高,效果不如上面;

 

基于对抗生成网络的风格迁移(Style transfer based on GAN)

没啥说的,了解 GAN 自然能看懂图

 

摆脱GRAM矩阵、基于Patch的风格迁移 

gram 矩阵无法解释 为什么能描述 图像风格,故不好优化,该方法放弃了 gram 矩阵;

主体思路:生成图像、内容图像、风格图像 都分成同样的patch,在内容损失上计算 生成图像和内容图像 对应  patch 的 mes,在风格损失上,计算 生成图像上 某 patch 和 风格图像上 内积 最小的 patch 的 mes,其他和上面相同;

据说效果更好

 

 

 

参考资料:

https://www.bilibili.com/video/BV1Ni4y1o7Ja?p=1&vd_source=f0fc90583fffcc40abb645ed9d20da32   基于卷积网络的图像风格迁移

https://blog.csdn.net/qq_39297053/article/details/120453246  图像风格迁移

https://www.jianshu.com/p/361a65ed41cc    图像风格迁移

https://zhuanlan.zhihu.com/p/55948352    图像风格迁移