DDPM原理

生成模型核心原理

解释：将观测变量（数据集图片）进行编码为具有某个确定分布（一般为正太分布）的隐变量，然后再将该隐变量解码为观测变量。在推理过程中就可以通过在隐变量的分布中进行随机采样，然后将其解码为生成的图片，进而实现生成内容的多样性。

DDPM

• DDPM相比VAE，在将观测变量编码为隐变量的过程中，采用了确定性过程（不需要训练），即采用加高斯噪声的方法，经过多步加高斯噪声，最终得到完全符合N(0,1)的标准正态分布。公式1
• 在解码的过程中，已知t时刻的带噪图，为了将该图恢复，需要逐步得到前一时刻的图，也就是需要知道t-1时刻的分布，由贝叶斯公式可得到given xt x0时 xt-1时刻的分布，根据该分布可知方差为已知，只有均值中x0未知，因此可以让神经网络根据t时刻的带噪图预测x0，进而可以知道t-1时刻的分布，除了可以让神经网络预测x0之外，还可以预测x0与xt之间的噪音图，进而根据预测的噪音图和xt推出x0，这两种方法都可以。
• 由解码过程可知，神经网络的作用就是根据xt时刻的带噪图预测x0或者噪音图进而得到t-1时刻的分布，因此在训练阶段的输入就是某个时刻的带噪图以及那个时刻，gt就是x0或者从x0正向扩散到该时刻的噪音图
  公式0：总体图
  
  公式1：正向扩散得到某个时刻带噪图的公式
  
  公式2：由t时刻分布获得t-1时刻分布公式
  
  公式3：由t时刻分布获得的t-1时刻分布最终结果
  
  公式4：由公式1反推得到x0关于xt的表达
  

参考视频

1. https://www.bilibili.com/video/BV1B8411G7sV?p=1&vd_source=2aa0961ad09002e91f752df39d4566d6
2. https://www.bilibili.com/video/BV1Ax4y1v7CY/?spm_id_from=333.1007.top_right_bar_window_history.content.click&vd_source=2aa0961ad09002e91f752df39d4566d6