论文理解Diversified Arbitrary Style Transfer via Deep Feature Perturbation

1、提出了一种利用正交随机噪声矩阵对WCT的过程进行修改的方法，从而能够让风格迁移更具有多样性

方法

• 核心思想是在加入正交噪声矩阵丰富多样性的基础上，保证WCT过程中style纹理，也就是Gram矩阵不变。也就是说即使用正交噪声矩阵扰动前后feature map和原先不同了，但是Gram Matrix（style 纹理）不变。
  Gram Matrix计算：
  
  

• 
  这个噪声扰动的方法能够保证style图的Gram Matrix和扰动后的图的Gram Matrix完全相同，即上面的计算结果为0.

• 原始的WCT计算公式如下：
  
  

• 加入扰动正交噪声矩阵Z：
  
  证明加入扰动正交噪声矩阵Z之后还是和style图一样的style纹理（相同的Gram Matrix）
  

实验以及消融分析

• 作者发现只直接采用扰动后的结果进行输出，会对内容结构有很大的破坏，风格化的结果并不好，所以加入了两个权重平衡这个影响（分别为diversity 超参数 和 stylization 超参数），但是对于colosed-form方法影响很小（WCT以及MST影响都很大），推测可能是由于其考虑了内容架构的损失也最优。
  
  

• 多层级的扰动，结果会糟糕；单层级的扰动而言，扰动的层级越低，最后结果越糟糕，质量越低。所以多层级的扰动没有必要
  

• 扰动噪声矩阵的采样的分布类型（正态或者均匀分布）以及其相关参数对结果影响不大，但是采用随机噪声矩阵而不采用正交噪声矩阵对结果影响很大，随机噪声的话结果很差，会淹没内容架构。

• 扰动矩阵Z可以放在多个位置，放在中间时计算量最小，因为其对应的矩阵维度最小。

• 过大的diversity超参数会让内容架构很大程度破坏，这时就需要较小的stylization超参数来均衡了，才能保证一个不错的风格化结果。

• 通过正交噪声矩阵的插入确实能够增加风格化的多样性