The Hessian Penalty: A Weak Prior for Unsupervised Disentanglement

目录

• 概
• 主要内容
  • 标量情况
  • 向量情况
  • 处于实际(计算量)的考量
  • 应用到生成模型中
• 代码

Pebbles W., Pebbles J., Zhu J., Efros A., Torralba A. The Hessian Penalty: A Weak Prior for Unsupervised Disentanglement. arXiv preprint arXiv 2008.10599, 2020.

概

disentagle a function 究竟是什么不是很了解, 仅仅关于此方法如何运用二阶信息做一个记录. 其目的是显然的, 就是希望生成器输入的隐变量所调节的特征是独立的.

如图 逐渐增加\(z_6\), 其生成图片由外轮廓变成实物, 但不加hessian penalty的GAN似乎缺少一种严格的划分.

主要内容

hessian penalty的目的就是希望令hessian矩阵的非对角线元素小(最好为0).

标量情况

任意函数\(G:\mathbb{R}^d \rightarrow \mathbb{R}\). 其hessian矩阵\(H\)的元素为

\[\tag{1} H_{ij} = \frac{\partial^2G}{\partial z_i \partial z_j}, \]

假设其非对角线元素为0, 即

\[\tag{1.5} H_{ij} = \frac{\partial}{\partial z_j} (\frac{\partial G}{\partial z_i}) = 0, \quad i \not =j \]

这意味着, \(G\)关于\(z_i\)的导函数不含\(z_j\), 即与\(z_j\)无关(倘若在考虑定义域内(1.5)均满足), 这说明, 调节\(z_j\)对调节\(z_i\)导致\(G\)的变化没有影响.

为求目标(1.5), 添加如下hessian penalty:

\[\tag{2} \mathcal{L}_H (G) = \sum_{i=1}^d \sum_{j\not= i}^d H_{ij}^2. \]

向量情况

此时\(G: \mathbb{R}^d \rightarrow \mathbb{R}^p\), 设\(x_i=(G(z))_i\), \(H_i\)是\(x_i\)关于\(z\)的hessian矩阵, 则

\[\tag{3} \mathcal{L}_H (G) = \max_i \mathcal{L}_{H_i} (G). \]

实际上别的比如\(\mathrm{mean}\)也是可以的, 但是作者实验发现用\(\max\)最好.

处于实际(计算量)的考量

如果输入的维度很大的话, 想要直接计算hessian矩阵是不容易的, 作者采用的是一种采样加逼近的方式, 首先

定理1: \(Var_v (v^THv)=2\sum_{i=1}^d\sum_{j\not=i}^d H_{ij}^2\).

其中\(v\)是Rademacher vectors, 即\(v\)的每个元素独立同分布于伯努利分布(\(p=1/2\)).

故只需用\(v^THv\)的经验方差来替换\(\mathcal{L}_H (G)\)就可以了.

注: 生成器的输入很少, 感觉用不到这个啊.

然后再来看怎么估计一次\(v^THv\), 便是很直接的中心差分

\[\tag{5} v^THv \approx \frac{1}{\epsilon^2} [G(z+\epsilon v) - 2G(z) + G(z-\epsilon v)]. \]

应用到生成模型中

此思想仅仅运用于训练生成器

\[\tag{7} \mathcal{L}_G = \mathbb{E}_{x \sim p _z(z)} [f(1-D(G(z)))] + \lambda \cdot \mathbb{E}_{z \sim p_z(z)} [\mathcal{L}_H(G)]. \]

代码

原文代码