摘要：
一、背景介绍 CNN有归纳偏置（inductive bias），即：Locality（局部相关性）和Spatial Invariance（空间不变性），而Self-Attention 没有这些归纳偏置，所以训练Attention 需要更多的数据。 计算全局Attention的一个问题是随着序列的增加 阅读全文
posted @ 2025-06-05 10:41
指间的执着
阅读(8)
评论(0)
推荐(0)
摘要：
小波变换的原理如下： 基于Pytorch， 使用UNet网络结构实现小波变换。 其中，每个 Encoder 为分解操作，包括卷积实现分解和下采样； 每个Decoder 为重构操作，包括，上采样和使用卷积实现重构； 代码：https://github.com/shixiaojia/wavelet_de 阅读全文
posted @ 2025-04-30 11:30
指间的执着
阅读(6)
评论(0)
推荐(0)
摘要：
一、Vanilla Transformer（Post-LN Transformer） 1. model architecture Transformer的结构也是一个encoder-decoder结构，其中，encoder和decoder是使用self-attention和全连接层堆叠的结构，如图1 阅读全文
posted @ 2024-09-08 10:22
指间的执着
阅读(109)
评论(0)
推荐(0)
摘要：
……… 阅读全文
posted @ 2024-07-15 22:01
指间的执着
阅读(18)
评论(0)
推荐(0)
摘要：
DDPM为了公式推导简单，定义了前向过程是马尔科夫链，因此使得反向过程也是一个马尔可夫过程，即每个状态都只受前一个状态的影响。所以如果训练的时候有$T$步，后续采样的时候也需要有$T$步，速度很慢。 公式推导如下： 在DDPM中，由贝叶斯公式可知： $p(x_{t-1}|x_{t},x_{0})=\ 阅读全文
posted @ 2024-07-10 20:48
指间的执着
阅读(81)
评论(0)
推荐(0)
摘要：
github: https://github.com/shixiaojia/ddpm.git 基于DDPM介绍的理论，简单实现DDPM生成人脸，代码如下： utils.py import os from torch.utils.data import Dataset from torchvision 阅读全文
posted @ 2024-07-07 15:26
指间的执着
阅读(71)
评论(0)
推荐(0)
摘要：
github:https://github.com/shixiaojia/GAN.git 基于GAN介绍的理论，简单实现GAN生成人脸，代码如下： utils.py import osimport torchimport torchvision.transforms as transformsfro 阅读全文
posted @ 2024-06-30 20:08
指间的执着
阅读(80)
评论(0)
推荐(0)
摘要：
github:https://github.com/shixiaojia/VAE.git 基于VAE介绍的理论，简单实现VAE生成人脸，代码如下： utils.py import os from torch.utils.data import Dataset from torchvision.tra 阅读全文
posted @ 2024-06-30 15:43
指间的执着
阅读(60)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2024-06-23 16:57
指间的执着
阅读(14)
评论(0)
推荐(0)
摘要：
1、数学基础 1.1 雅可比矩阵Jacobian 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵。 假设： $z=\begin{bmatrix}z_{1}\\z_{2}\end{bmatrix}$, $x=\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}$ $x=f(z 阅读全文
posted @ 2024-06-23 16:55
指间的执着
阅读(149)
评论(0)
推荐(0)
浙公网安备 33010602011771号