Density estimation using Real NVP

目录

• 概
• Motivation
• Real NVP
  • Coupling layers

Dinh L, Sohl-Dickstein J. and Bengio S. Density estimation using real nvp. ICLR, 2017.

概

一种可逆的 flow, 感觉很 diffusion 已经非常非常像了. 果然, 伟大的成果从来不是一蹴而就的.

Motivation

• $x$ 是原始数据, $z$ 是隐变量, 作者希望找到一个可逆变换 $f$ 满足:

  1. $z = f(x)$ 服从一个简单的分布, 比如正态分布;
  2. 逆变换 $f^{-1}$ 是容易操作的.

• 如此一来, 我们就可以直接从一个简单的分布 $p_Z$ 中采样 $z$, 然后通过

  $$x = f^{-1}(z)$$

  就完成了 generation 的过程.

Real NVP

• 至于怎么找到这个变换 $f(\cdot)$ 就是借用 flow 的思想了.

• 我们知道, 对于 $z = f(x)$ 有

  $$p_Z(z) = p_X(f^{-1}(z)) |\text{det}(\nabla_x f)|^{-1} \Rightarrow p_X(x) = p_Z(f(x)) |\text{det}(\nabla_x f(x))|.$$

• 我们假设 $p_Z(z)$ 服从一个简单的分布 (比如高斯分布), 如此一来只需要极大化对数似然即可:

  $$\max_f \quad \log (p_X(x)) = \log (p_Z(f(x))) + \log (|\text{det}(\nabla_x f(x))|).$$

• 整体的可行性要求:

  1. $f(\cdot)$ 具有较强的表达能力, 使得它能够将 $x$ 映射到一般的简单分布中去;
  2. $\text{det}(\nabla_x f(x))$ 是容易求解的.

Coupling layers

• 作者介绍了一种 coupling layers, 符合我们所需的条件.

• 每一层, 我们将输入 $x$ 切分为 $[x_1, x_2]$, 然后根据如下变换得到输出:

  $$y_1 = x_1 \\ y_2 = x_2 \odot \exp(s(x_1)) + t(x_1),$$

  其中 $s, t$ 是可训练的 scale, translation function.

• 容易证明:

  $$\nabla_x y = \left [ \begin{array}{ll} \mathbb{I}_d & 0 \\ \nabla_{x_1} y_2 & \text{diag}(\exp(s(x_{1:d}))) \end{array} \right ],$$

  为一下三角矩阵, 所以它的行列式就是对角元素的乘积.

• 如果给定 $y$, 反向求解 $x$ 也是容易的:

  $$x_1 = y_1, \\ x_2 = (y_2 - t(y_1)) \odot \exp(-s(y_1)).$$

• 假设我们用了两层:

  $$z = f(y) = f \circ g (x),$$

  则

  $$\nabla_x z = \nabla_y f \nabla_x g,$$

  故

  $$\text{det}(\nabla_x z) = \text{det}(\nabla_y f) \text{det}(\nabla_x g),$$

  只需一层层算就可以了.

• 显然, 该思想可以很容易扩展到多层. 另外, 需要注意的是, 每一层, 输入的切分应当是各异的以避免一部分特征始终不变.