深入理解扩散模型中的高斯分布参数化

在机器学习领域，扩散模型（Diffusion Models, DM） 是近年来非常热门的生成模型之一。其背后的核心思想是通过逐步向数据中注入噪声，使得数据从原始的有序状态转变为完全无序的状态（通常为标准高斯分布）。这一过程为后续的反向扩散过程（去噪）提供了基础，帮助模型从噪声中恢复出原始数据。

本文将详细解析扩散模型中的转移核，重点讨论如何从扩散过程中高斯分布的参数化公式中得出均值和方差。

---

1. 什么是扩散模型？

扩散模型是一类通过逐步添加噪声来扰乱数据分布的生成模型。我们可以把扩散模型想象成一个多步过程，类似于一个马尔可夫链，每一步都将一些随机噪声引入到数据中。这个过程从有序的原始数据开始，到最后一步将其转变为完全无序的噪声分布。

然而，这个从有序到无序的过程只是模型的一个部分。为了生成新数据，我们需要进行反向操作——从噪声中逐步去噪，还原出有意义的数据。这一去噪过程正是扩散模型的生成能力所在。

---

2. 转移核的高斯分布公式

在扩散过程中，每一步我们都需要知道如何从上一个时刻的潜变量$x_{t-1}^{\prime}$生成新的潜变量 $x_{t}^{\prime}$。这个生成过程被定义为转移核，其形式通常为高斯分布：

$$q(x_t'|x_{t-1}')=\mathcal{N}(x_t';\sqrt{1-\beta_t}x_{t-1}',\beta_t\mathbf{I})$$

其中：

• $\mathcal{N}$表示多维高斯分布。
• $\beta_t\in(0,1)$控制在第$\mathcal{t}$步添加的高斯噪声的强度。
• $\text{I}$是单位矩阵。

这意味着，给定上一时刻的潜变量$x_{t-1}^{\prime}$​，当前时刻的潜变量$x_{t}^{\prime}$服从一个均值为$\sqrt{1-\beta_{t}}x_{t-1}^{\prime}$​，方差为$\beta_t\mathbf{I}$的高斯分布。

---

3. 高斯分布的均值和方差如何得出？

现在的问题是：如何从这个公式中推到出均值和方差？

3.1. 高斯分布的标准形式

首先，我们需要回顾一下多维高斯分布的标准形式。假设一个随机变量$\text{x}$服从多维高斯分布，其均值为$\mu $，协方差矩阵为$\Sigma $，则它的概率密度函数为：

$$p(x)=\mathcal{N}(x;\mu,\Sigma)=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}\exp\left(-\frac{1}{2}(x-\mu)^{T}\Sigma^{-1}(x-\mu)\right)$$

其中：

• $\mu $是均值向量。
• $\Sigma $是协方差矩阵，定义了分布的方差。

在扩散模型中，潜变量$x_{t}^{\prime}$的分布同样是高斯分布，因此我们可以类比推导出它的均值和方差。

3.2. 均值的推导

观察转移核公式：

$$x_t'=\sqrt{1-\beta_t}x_{t-1}'+\sqrt{\beta_t}\epsilon_t$$

其中，$\epsilon_t\sim\mathcal{N}(0,\mathbf{I})$表示高斯噪声，均值为 0，方差为单位矩阵 $\text{I}$。

可以看到，生成的潜变量$x_{t}^{\prime}$是前一个潜变量$x_{t-1}^{\prime}$的缩放形式加上噪声项。具体分析该公式：

• 第一项 $\sqrt{1-\beta_{t}}x_{t-1}^{\prime}$ 是对前一个潜变量的缩放，它是确定的，因此它是高斯分布的均值。
• 第二项 $\sqrt{\beta_{t}}\epsilon_{t}$ 是高斯噪声，均值为 0，因此不会影响均值。

因此，从公式结构可以直接看出，均值为：

$$\mu_t=\sqrt{1-\beta_t}x_{t-1}'$$

3.3. 方差的推导

接下来推导方差。噪声项$\sqrt{\beta_t}\epsilon_t$的方差如何计算呢？根据高斯分布的性质，若 $\epsilon_t\sim\mathcal{N}(0,\mathbf{I})$，那么$\sqrt{\beta_t}\epsilon_t$的协方差矩阵为 $\beta_{t}\mathbf{I}$。

这源自于协方差矩阵的缩放性质，即如果 $\epsilon_{t}$的协方差为$\text{I}$，那么经过 $\sqrt{\beta_{t}}$的缩放，协方差会变为$\beta_{t}\mathbf{I}$。

因此，转移核的**方差（协方差矩阵）**为：

$$\Sigma_t=\beta_t\mathbf{I}$$

---

4. 结果总结

总结来说，扩散模型中的每一步转移核$q(x_{t}^{\prime}|x_{t-1}^{\prime}) $是一个高斯分布，其均值和方差分别为：

• 均值：$\mu_t=\sqrt{1-\beta_t}x_{t-1}^{\prime}$​
• 方差（协方差矩阵）：$\Sigma_t=\beta_t\mathbf{I}$

这个公式非常直观地展示了在扩散过程中，潜变量 $x_{t}^{\prime}$​ 是如何通过缩放前一时刻的潜变量 $x_{t-1}^{\prime}$来逐步注入噪声的。通过这种方式，数据逐渐从有序状态（原始数据）过渡到无序状态（标准高斯分布）。

---

5. 验证与理解

为了进一步理解这个公式，我们可以考虑两种极端情况：

• 当 $\beta_{t}$=0 时，方差为 0，表示没有噪声引入，此时 $x_{t}^{\prime}$ 完全由 $x_{t-1}^{\prime}$ 决定，扩散过程停滞。
• 当 $\beta_{t}$$=1$ 时，$x_{t}^{\prime}$完全由噪声控制，潜变量转变为纯噪声，丧失了与原始数据的联系。

这表明，通过逐步调节$\beta_{t}$ 的大小，扩散模型能够平滑地从有序数据过渡到无序噪声，为后续的去噪还原提供了理论基础。

---

6. 结语

通过对扩散模型中转移核公式的推导，我们深入理解了如何从高斯分布的参数化公式中得出均值和方差。这种逐步注入噪声的扩散过程展示了生成模型的一种有效方式，尤其在图像生成、文本生成等领域中发挥了重要作用。

希望通过这篇文章，你能更好地理解扩散模型中的高斯分布结构，进而为深入学习生成模型奠定基础。