变分自编码器VAE的数学原理

变分自编码器(VAE)是一种应用广泛的无监督学习方法，它的应用包括图像生成、表示学习和降维等。虽然在网络架构上经常与Auto-Encoder联系在一起，但VAE的理论基础和数学公式是截然不同的。本文将讨论是什么让VAE如此不同，并解释VAE如何连接“变分”方法和“自编码器”。

本文更专注于VAE的统计概念和推导。我们将从介绍VAE所要解决的问题开始，解释变分方法在解决方案中所起的作用，并讨论VAE与AE之间的联系。最后还会将VAE应用于图像重建任务来进行具体的演示。

我们考虑一个由随机变量x的N个i.i.d.样本(标量或向量)组成的数据集。假设数据是由一些随机过程产生的，这里包含一个未观察到的随机变量z(即潜在变量)。

生成过程有两个步骤:

值 z⁽ⁱ⁾ 是从某个先验分布 p(z; θ) 生成的， 值 𝐱⁽ⁱ⁾ 是从一些依赖于 𝐳⁽ⁱ⁾ 的条件分布 p(x|z=𝐳⁽ⁱ⁾; θ) 生成的，

其中先验p(z;θ)和条件似然p(x|z;θ)都是未知参数集θ的参数分布。

我们感兴趣的是与给定场景相关的以下三个问题:

• 参数集θ的MAP/ML估计，使用它可以模拟上述生成过程并创建人工数据。
• 对于参数θ的选择，给定观测值x，隐变量z的后验推断，即p(z|x;θ)，这对表示学习很有用。
• 对于参数θ的选择，变量x的边际推断，即p(x;θ)，这在需要先验x的情况下是有用的。

 

https://avoid.overfit.cn/post/3da44e8799104455b554f40c3c04fef6