【机器学习】李宏毅——Flow-based Generative Models

前文我介绍了部分关于生成学习的内容，可以参考我这篇博文点此
前面介绍的各个生成模型，都存在一定的问题：

对于PixelRNN这类模型来说，就是从左上角的像素开始一个个地进行生成，那么这个生成顺序是否合理，每一个像素是否只与它前面的像素有关，这就是其问题
VAE的问题在前文就已经提到，它只能够学会模仿训练集中的例子，无法真正做到“创造”
对于GAN来说可能是生成方面最好的模型，但是实在是太难训练了

因此我们接下来要介绍的流形生成模型，就是用多个比较简单的生成器进行串联，来达到用简单的分布转换成复杂的分布的效果。

Generator

一般来说，生成器是一个神经网络，其定义了一个概率分布。例如我们有一个生成器G如下图，那么我们输入一个z，就可以得到输出x；而z我们可以看成是从简单的正态分布中采样得来的，而最终得到的x的分布则可以认为跟生成器G相关，因此定义该分布为\(P_G(x)\)。这里可以将x称为观测变量，也就是我们实际能够得到的样本；将z称为隐变量，其对于样本的生成式至关重要的。因此可以认为观测变量x的真实分布为\(P_{data}(x)\)，如下图：
在这里插入图片描述

那么我们调整生成器的目的就是希望\(P_G(x)\)和\(P_{data}(x)\)能够越接近越好，即：

\[G^*=argmax_G\sum_{i=1}^mlogP_G(x^i)\Leftrightarrow argmin_GKL(P_{data}\mid \mid P_G) \]

其中，\(x^i\)是从分布\(P_{data}\)中采样得到的。那么求解生成器G也就是极大似然的求解，也就是最大化每个样本被采样得到的概率，这相当于极小化那两个分布的KL散度，是满足我们的预期的。

Math Background

Jacobian Matrix

雅可比矩阵可以通过下图来简单理解：

在这里插入图片描述

那么存在一个重要的性质是：

\[J_f\times J_{f^{-1}}=I\\ det(J_f)=\frac{1}{det(J_{f^{-1}})} \]

即它们互为逆矩阵，且行列式也存在互为倒数的关系。而行列式还有另外一个含义，就是将矩阵的每一行都当成一个向量，并在对应维度的空间中展开，那么形成的那个空间的“体积“就是行列式的绝对值，如下图的二维的面积和三维的体积：
在这里插入图片描述

Change of Variable Theorem

根据前面的描述，我们已知了z的分布，假设当前也知道了x的分布，那么我们想要的是求出来生成器G，或者说求出来怎么从z的分布转换到x的分布，如下图：

在这里插入图片描述

我们先从最简单的情形来介绍我们具体解决问题的方式。

假设当前z满足的分布为一个0到1之间的均匀分布，而z和x之间的关系已知，为\(x=f(z)=2z+1\)，那么就可以得到下面的图形。而由于两者都是概率分布，因此两者的积分都应该为1（面积相同），因此可以解出来x的分布对应的高度为0.5。

在这里插入图片描述

那么假设z和x的分布都为更加复杂的情况，那我们可以在某点\(z'\)上取一定的增量\(\Delta z\)，那么对应映射到x的分布上就也有\(x'\)和\(\Delta x\)。那么假设\(\Delta z\)很小，可以使得在该段之内的\(p(z)\)都相同，\(p(x)\)也同理相等，再根据这两部分的面积相同即可得到：
在这里插入图片描述

需要注意的是转换成微分之后需要加上绝对值，因为微分可正可负。

那么接下来拓展到二维空间，假设当前的\(\pi(z')\)处对于两个方向都进行了增量，那么映射到x之中将会有四个增量：其中\(\Delta x_{11}\)表示\(z_1\)改变的时候\(x_1\)的改变量，\(\Delta x_{12}\)表示\(z_1\)改变的时候\(x_2\)的改变量，以此类推，因此在x的空间中就扩展为一个菱形。

在这里插入图片描述

那么它们之间存在的关系从面积相等拓展到了体积相等，即：

\[p(x')\lvert det\left[ \begin{matrix} \Delta x_{11}~ \Delta x_{21} \\ \Delta x_{12}~\Delta x_{22} \end{matrix} \right] \rvert =\pi(z')\Delta z_1 \Delta z_2 \]

也就是两个图形的面积和在对应点的取值的乘积相等。那么对上式进行推导：

在这里插入图片描述

可以发现两者分布之间相差为雅克比矩阵的行列式的绝对值。

Flow-based Model

经过上面的各种推导，我们可以将目标函数进行转换：

在这里插入图片描述

而我们如果要最大化最下面的式子，我们首先需要知道怎么算雅克比矩阵的行列式，这在当矩阵的大小很大的时候是非常耗时的；其次是要知道怎么算生成器G的逆\(G^{-1}\)，这个会要求输入的维度和输出的维度必须是一样的，因此我们要巧妙地设计网络的架构，使其能够方便计算雅克比矩阵的行列式和生成器的逆\(G^{-1}\)。而在实际的Flow-based Model中，G可能不止一个。因为上述的条件意味着我们需要对G加上种种限制。那么单独一个加上各种限制就比较麻烦，我们可以将限制分散于多个G，再通过多个G的串联来实现，这也是称为流形的原因之一：

在这里插入图片描述

因此要最大化的目标函数也变成了：

\[logp_K(x^i)=log\pi(G^{-1}(x^i))+\sum_{h=1}^Klog\lvert det(J_{G_h^{-1}}) \rvert \]

可以发现上述要最大化的目标函数中只有\(G^{-1}\)，因此在训练的时候我们可以只训练\(G^{-1}\)，其接受x作为输入，输出为z；而在训练完成后就将其反过来，接受z作为输入，输出为x。

因为我们在训练的时候就会从分布中采样得到x，然后代入得到z，并且根据最大化上式来调整\(G^{-1}\)。那么如果只看上式的第一项，因为\(\pi(t)\)是正态分布，因此当t取零向量的时候其会达到最大值，因此如果只求第一项的最大化的话会使得我们输出的z向量都变成零向量。但是这会导致雅克比矩阵全为0（因为z都是零向量，因此没有变化的梯度），那么第二项将会冲向负无穷，因此这两项之间是相互约束的关系！第一项使得所有的z向量都往零向量附近靠近，第二项使得z向量都全部为零向量。