07 2024 档案
摘要：目录 概 符号说明 流程 代码 Gong S., Li M., Feng J., Wu Z. and Kong L. DiffuSeq: Sequence to sequence text generation with diffusion models. In International Conf
阅读全文
摘要：1. 问题描述如题，在用PyCharm进行Python代码调试查看具体变量时，会随机遇到一直显示collecting data，到最后报错Timeout waiting for response，在界面中看不到变量内部的内容，如下图所示： 2. 解决办法在PyCharm，打开Setting界面，在如
阅读全文
摘要：Diffusion论文：Denoising Diffusion Probabilistic Models参考博客open in new window；参考 paddle 版本代码： aistudio 实践链接open in new window该文章主要对 DDPM 论文中的公式进行小白推导，并根据
阅读全文
摘要：DIFFUSION 系列笔记|DDIM 数学、思考与 ppdiffuser 代码探索论文：DENOISING DIFFUSION IMPLICIT MODELS参考 博客open in new window; 参考 aistudio notebook 链接，其中包含详细的公式与代码探索： linko
阅读全文
摘要：Wasserstein GAN and the Kantorovich-Rubinstein Duality From what I can tell, there is much interest in the recent Wasserstein GAN paper. In this post,
阅读全文
摘要：Enhancing Diffusion Models with Reinforcement Learning Sep 27, 2023 | Uncategorized TL;DR Today we're going to tell you all about DRLX - our library f
阅读全文
摘要：摘要 在基本理解着证据下界和VAE后，学习VDM，主要是想自己理解顺畅整个模型的思路和推导过程（done）。 内容组织： 首先从宏观感受VDM的模型架构，并与HVAE进行比较，基本理解； 然后讲解自己理解的整个模型建模过程和原因(《事后诸葛》，为了自己理解)； 指出VDM的三个重要等价解释，着重Sc
阅读全文
摘要：最近一直捣鼓生成式模型的东西，特别是关于利用现有预训练模型的生成式，中间很多挺有意思的坑，先不说。生成式中一个比较大的需求是，可控文本生成，其中可控表示能让模型生成与所需主题相关的文本，这也涉及到文本的风格迁移。 往往即便是现有超大语言模型，如 GPT2，可以生成没有任何拼写和语法错误的句子，但却难
阅读全文
摘要：[更新于2019-07-18：添加了关于VQ-VAE & VQ-VAE-2的部分。] [更新于2019-07-26：添加了关于TD-VAE的部分。] 自动编码器是通过中间具有窄瓶颈层的神经网络模型来重构高维数据的（哦，这对于变分自动编码器可能不适用，我们将在后面的部分详细探讨）。一个很好的副产品是维
阅读全文
摘要：1、极大似然估计就是求概率的最大值 2、VAE (1)q(x|z)是编码器的隐向量，可以是任意分布，通过化简，得到了最低下界，最大化这个最低下界就行： (2)类比出DDPm的目标 (3)DDPM的最终下界： (4)红色部分化简一波 (5)红色部分化简一波 (6)红色部分也是高斯分布，让两个高斯分布均
阅读全文
摘要：1、确定参数 %matplotlib inline import matplotlib.pyplot as plt import numpy as np from sklearn.datasets import make_s_curve import torch s_curve,_ = make_s
阅读全文
摘要：[2021-09-19更新：强烈推荐Yang Song的这篇关于基于得分的生成建模的博文（几篇参考文献的主要作者）]。 [2022-08-27更新：添加了无分类器引导，GLIDE，unCLIP和Imagen。 [2022-08-31更新：添加了潜在扩散模型。 [2024-04-13更新：添加了渐进蒸
阅读全文
摘要：相信很多读者都听说过甚至读过克莱因的《高观点下的初等数学》这套书，顾名思义，这是在学到了更深入、更完备的数学知识后，从更高的视角重新审视过往学过的初等数学，以得到更全面的认知，甚至达到温故而知新的效果。类似的书籍还有很多，比如《重温微积分》、《复分析：可视化方法》等。 回到扩散模型，目前我们已经通过
阅读全文
摘要：到目前为止，笔者给出了生成扩散模型DDPM的两种推导，分别是《生成扩散模型漫谈（一）：DDPM = 拆楼 + 建楼》中的通俗类比方案和《生成扩散模型漫谈（二）：DDPM = 自回归式VAE》中的变分自编码器方案。两种方案可谓各有特点，前者更为直白易懂，但无法做更多的理论延伸和定量理解，后者理论分析上
阅读全文
摘要：在文章《生成扩散模型漫谈（一）：DDPM = 拆楼 + 建楼》中，我们为生成扩散模型DDPM构建了“拆楼-建楼”的通俗类比，并且借助该类比完整地推导了生成扩散模型DDPM的理论形式。在该文章中，我们还指出DDPM本质上已经不是传统的扩散模型了，它更多的是一个变分自编码器VAE，实际上DDPM的原论文
阅读全文
摘要：说到生成模型，VAE、GAN可谓是“如雷贯耳”，本站也有过多次分享。此外，还有一些比较小众的选择，如flow模型、VQ-VAE等，也颇有人气，尤其是VQ-VAE及其变体VQ-GAN，近期已经逐渐发展到“图像的Tokenizer”的地位，用来直接调用NLP的各种预训练方法。除了这些之外，还有一个本来更
阅读全文
摘要：在本系列的前面几篇文章中，我们已经从多个角度来理解了VAE，一般来说，用VAE是为了得到一个生成模型，或者是做更好的编码模型，这都是VAE的常规用途。但除了这些常规应用外，还有一些“小众需求”，比如用来估计$x$的概率密度，这在做压缩的时候通常会用到。 本文就从估计概率密度的角度来了解和推导一下VA
阅读全文
摘要：大家都知道，Transformer的$\mathscr{O}(n^2)$复杂度是它的“硬伤”之一。不过凡事有弊亦有利，$\mathscr{O}(n^2)$的复杂度也为Transformer带来很大的折腾空间，我们可以灵活地定制不同的attention mask，来设计出不同用途的Transforme
阅读全文
摘要：在《变分自编码器（五）：VAE + BN = 更好的VAE》中，我们讲到了NLP中训练VAE时常见的KL散度消失现象，并且提到了通过BN来使得KL散度项有一个正的下界，从而保证KL散度项不会消失。事实上，早在2018年的时候，就有类似思想的工作就被提出了，它们是通过在VAE中改用新的先验分布和后验分
阅读全文
摘要：前段时间公司组织技术分享，轮到笔者时，大家希望我讲讲VAE。鉴于之前笔者也写过变分自编码器系列，所以对笔者来说应该也不是特别难的事情，因此就答应了下来，后来仔细一想才觉得犯难：怎么讲才好呢？ 对于VAE来说，之前笔者有两篇比较系统的介绍：《变分自编码器（一）：原来是这么一回事》和《变分自编码器（二）
阅读全文
摘要：昨天早上，笔者在日常刷arixv的时候，然后被一篇新出来的论文震惊了！论文名字叫做《NVAE: A Deep Hierarchical Variational Autoencoder》，顾名思义是做VAE的改进工作的，提出了一个叫NVAE的新模型。说实话，笔者点进去的时候是不抱什么希望的，因为笔者也
阅读全文
摘要：本文我们继续之前的变分自编码器系列，分析一下如何防止NLP中的VAE模型出现“KL散度消失（KL Vanishing）”现象。本文受到参考文献是ACL 2020的论文《A Batch Normalized Inference Network Keeps the KL Vanishing Away》的
阅读全文
摘要：这是一篇“散文”，我们来谈一下有着千丝万缕联系的三个东西：变分自编码器、信息瓶颈、正态分布。 众所周知，变分自编码器是一个很经典的生成模型，但实际上它有着超越生成模型的含义；而对于信息瓶颈，大家也许相对陌生一些，然而事实上信息瓶颈在去年也热闹了一阵子；至于正态分布，那就不用说了，它几乎跟所有机器学习
阅读全文
摘要：这篇文章很简短，主要描述的是一个很有用、也不复杂、但是我居然这么久才发现的事实～ 在《深度学习的互信息：无监督提取特征》一文中，我们通过先验分布和最大化互信息两个loss的加权组合来得到Deep INFOMAX模型最后的loss。在那篇文章中，虽然把故事讲完了，但是某种意义上来说，那只是个拼凑的lo
阅读全文
摘要：这篇文章是我们前几天挂到arxiv上的论文的中文版。在这篇论文中，我们给出了结合流模型（如前面介绍的Glow）和变分自编码器的一种思路，称之为f-VAEs。理论可以证明f-VAEs是囊括流模型和变分自编码器的更一般的框架，而实验表明相比于原始的Glow模型，f-VAEs收敛更快，并且能在更小的网络规
阅读全文
摘要：由于VAE中既有编码器又有解码器（生成器），同时隐变量分布又被近似编码为标准正态分布，因此VAE既是一个生成模型，又是一个特征提取器。在图像领域中，由于VAE生成的图片偏模糊，因此大家通常更关心VAE作为图像特征提取器的作用。提取特征都是为了下一步的任务准备的，而下一步的任务可能有很多，比如分类、聚
阅读全文
摘要：话说我觉得我自己最近写文章都喜欢长篇大论了，而且扎堆地来～之前连续写了三篇关于Capsule的介绍，这次轮到VAE了，本文是VAE的第三篇探索，说不准还会有第四篇～不管怎么样，数量不重要，重要的是能把问题都想清楚。尤其是对于VAE这种新奇的建模思维来说，更加值得细细地抠。 这次我们要关心的一个问题是
阅读全文
摘要：源起 # 前几天写了博文《变分自编码器（一）：原来是这么一回事》，从一种比较通俗的观点来理解变分自编码器（VAE），在那篇文章的视角中，VAE跟普通的自编码器差别不大，无非是多加了噪声并对噪声做了约束。然而，当初我想要弄懂VAE的初衷，是想看看究竟贝叶斯学派的概率图模型究竟是如何与深度学习结合来发挥
阅读全文
摘要：过去虽然没有细看，但印象里一直觉得变分自编码器（Variational Auto-Encoder，VAE）是个好东西。于是趁着最近看概率图模型的三分钟热度，我决定也争取把VAE搞懂。于是乎照样翻了网上很多资料，无一例外发现都很含糊，主要的感觉是公式写了一大通，还是迷迷糊糊的，最后好不容易觉得看懂了，
阅读全文
摘要：变分 对于普通的函数f(x)，我们可以认为f是一个关于x的一个实数算子，其作用是将实数x映射到实数f(x)。那么类比这种模式，假设存在函数算子F，它是关于f(x)的函数算子，可以将f(x)映射成实数F(f(x)) 。对于f(x)我们是通过改变x来求出f(x)的极值，而在变分中这个x会被替换成一个函数
阅读全文
摘要：本文主要介绍变分自编码器(Variational Auto-Encoder, VAE)及其推导过程，但变分自编码器涉及一些概率统计的基础知识，因此为了更好地理解变分自编码器，首先介绍变分推断(Variational Inference)与期望最大化(Expectation-Maximization,
阅读全文
摘要：介绍 Diddusion Model 是2020年出现的一种新模型，论文中将其用于生成任务中。与GAN模型不同的是，他不需要使用判别器来进行训练。其训练过程与通常的生成器有很大的不同，他并不是直接训练一个生产模型，而是训练一个正态分布，并使用其对原始噪声图片去噪来生成图片。至于如何为什么使用这个正态
阅读全文
摘要：第1章 简介 当我们思考学习的本质时，我们首先想到的是通过与环境交互来学习。 当一个婴儿玩耍，挥动手臂或环顾四周时，他没有明确的老师，但他确实通过直接的感觉与环境联系。 他可以通过这种联系获得大量关于因果关系、动作的结果以及如何实现目标的信息。 在我们的生活中，这种交互无疑是环境和自身知识的主要来源
阅读全文