摘要：
一、Vanilla Transformer（Post-LN Transformer） 1. model architecture Transformer的结构也是一个encoder-decoder结构，其中，encoder和decoder是使用self-attention和全连接层堆叠的结构，如图1 阅读全文
摘要：
……… 阅读全文
摘要：
DDPM为了公式推导简单，定义了前向过程是马尔科夫链，因此使得反向过程也是一个马尔可夫过程，即每个状态都只受前一个状态的影响。所以如果训练的时候有$T$步，后续采样的时候也需要有$T$步，速度很慢。 公式推导如下： 在DDPM中，由贝叶斯公式可知： $p(x_{t-1}|x_{t},x_{0})=\ 阅读全文
摘要：
github: https://github.com/shixiaojia/ddpm.git 基于DDPM介绍的理论，简单实现DDPM生成人脸，代码如下： utils.py import os from torch.utils.data import Dataset from torchvision 阅读全文
摘要：
github:https://github.com/shixiaojia/GAN.git 基于GAN介绍的理论，简单实现GAN生成人脸，代码如下： utils.py import osimport torchimport torchvision.transforms as transformsfro 阅读全文
摘要：
github:https://github.com/shixiaojia/VAE.git 基于VAE介绍的理论，简单实现VAE生成人脸，代码如下： utils.py import os from torch.utils.data import Dataset from torchvision.tra 阅读全文
摘要：
阅读全文
摘要：
1、数学基础 1.1 雅可比矩阵Jacobian 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵。 假设： $z=\begin{bmatrix}z_{1}\\z_{2}\end{bmatrix}$, $x=\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}$ $x=f(z 阅读全文
摘要：
扩散过程是一个逐渐在数据上加噪的马尔科夫链，直到最终变成一个完全的噪声。而扩散模型就是一个使用变分推断训练的参数化马尔科夫链。如上图所示。学习的是一个reverse process。 前提条件： 1. 马尔可夫性质：当前的状态只与之前一个时刻的状态有关； 2. 前向和反向状态服从高斯分布，而且变化比 阅读全文
摘要：
1.ViT 介绍 Vision Transformer是在最少改动Transformer结构的情况下，将Transformer应用到图像上。因此，将图片划分成patch，并将这些patch的线性嵌入序列作为输入，具体在下面详细介绍。这里的图像patch和NLP中的token相同。 但是在中等大小的数 阅读全文