随笔分类 - Diffusion Model
摘要：针对昂贵优化问题的小说多任务条件神经网络代理模型 罗建平（Jianping Luo®）, IEEE会员, 陈亮, 李霞, 张清夫, IEEE会士 摘要 - 通过在任务间共享信息来同时学习多个相关任务，避免“从无开始”的学习，并在没有转移的情况下提高性能（即，当每个任务独立学习时）。本研究探讨了具有条
阅读全文
摘要：目录 概 符号说明 流程 代码 Gong S., Li M., Feng J., Wu Z. and Kong L. DiffuSeq: Sequence to sequence text generation with diffusion models. In International Conf
阅读全文
摘要：Diffusion论文：Denoising Diffusion Probabilistic Models参考博客open in new window；参考 paddle 版本代码： aistudio 实践链接open in new window该文章主要对 DDPM 论文中的公式进行小白推导，并根据
阅读全文
摘要：DIFFUSION 系列笔记|DDIM 数学、思考与 ppdiffuser 代码探索论文：DENOISING DIFFUSION IMPLICIT MODELS参考 博客open in new window; 参考 aistudio notebook 链接，其中包含详细的公式与代码探索： linko
阅读全文
摘要：Wasserstein GAN and the Kantorovich-Rubinstein Duality From what I can tell, there is much interest in the recent Wasserstein GAN paper. In this post,
阅读全文
摘要：Enhancing Diffusion Models with Reinforcement Learning Sep 27, 2023 | Uncategorized TL;DR Today we're going to tell you all about DRLX - our library f
阅读全文
摘要：摘要 在基本理解着证据下界和VAE后，学习VDM，主要是想自己理解顺畅整个模型的思路和推导过程（done）。 内容组织： 首先从宏观感受VDM的模型架构，并与HVAE进行比较，基本理解； 然后讲解自己理解的整个模型建模过程和原因(《事后诸葛》，为了自己理解)； 指出VDM的三个重要等价解释，着重Sc
阅读全文
摘要：最近一直捣鼓生成式模型的东西，特别是关于利用现有预训练模型的生成式，中间很多挺有意思的坑，先不说。生成式中一个比较大的需求是，可控文本生成，其中可控表示能让模型生成与所需主题相关的文本，这也涉及到文本的风格迁移。 往往即便是现有超大语言模型，如 GPT2，可以生成没有任何拼写和语法错误的句子，但却难
阅读全文
摘要：[更新于2019-07-18：添加了关于VQ-VAE & VQ-VAE-2的部分。] [更新于2019-07-26：添加了关于TD-VAE的部分。] 自动编码器是通过中间具有窄瓶颈层的神经网络模型来重构高维数据的（哦，这对于变分自动编码器可能不适用，我们将在后面的部分详细探讨）。一个很好的副产品是维
阅读全文
摘要：1、极大似然估计就是求概率的最大值 2、VAE (1)q(x|z)是编码器的隐向量，可以是任意分布，通过化简，得到了最低下界，最大化这个最低下界就行： (2)类比出DDPm的目标 (3)DDPM的最终下界： (4)红色部分化简一波 (5)红色部分化简一波 (6)红色部分也是高斯分布，让两个高斯分布均
阅读全文
摘要：1、确定参数 %matplotlib inline import matplotlib.pyplot as plt import numpy as np from sklearn.datasets import make_s_curve import torch s_curve,_ = make_s
阅读全文
摘要：[2021-09-19更新：强烈推荐Yang Song的这篇关于基于得分的生成建模的博文（几篇参考文献的主要作者）]。 [2022-08-27更新：添加了无分类器引导，GLIDE，unCLIP和Imagen。 [2022-08-31更新：添加了潜在扩散模型。 [2024-04-13更新：添加了渐进蒸
阅读全文
摘要：相信很多读者都听说过甚至读过克莱因的《高观点下的初等数学》这套书，顾名思义，这是在学到了更深入、更完备的数学知识后，从更高的视角重新审视过往学过的初等数学，以得到更全面的认知，甚至达到温故而知新的效果。类似的书籍还有很多，比如《重温微积分》、《复分析：可视化方法》等。 回到扩散模型，目前我们已经通过
阅读全文
摘要：到目前为止，笔者给出了生成扩散模型DDPM的两种推导，分别是《生成扩散模型漫谈（一）：DDPM = 拆楼 + 建楼》中的通俗类比方案和《生成扩散模型漫谈（二）：DDPM = 自回归式VAE》中的变分自编码器方案。两种方案可谓各有特点，前者更为直白易懂，但无法做更多的理论延伸和定量理解，后者理论分析上
阅读全文
摘要：在文章《生成扩散模型漫谈（一）：DDPM = 拆楼 + 建楼》中，我们为生成扩散模型DDPM构建了“拆楼-建楼”的通俗类比，并且借助该类比完整地推导了生成扩散模型DDPM的理论形式。在该文章中，我们还指出DDPM本质上已经不是传统的扩散模型了，它更多的是一个变分自编码器VAE，实际上DDPM的原论文
阅读全文
摘要：说到生成模型，VAE、GAN可谓是“如雷贯耳”，本站也有过多次分享。此外，还有一些比较小众的选择，如flow模型、VQ-VAE等，也颇有人气，尤其是VQ-VAE及其变体VQ-GAN，近期已经逐渐发展到“图像的Tokenizer”的地位，用来直接调用NLP的各种预训练方法。除了这些之外，还有一个本来更
阅读全文
摘要：介绍 Diddusion Model 是2020年出现的一种新模型，论文中将其用于生成任务中。与GAN模型不同的是，他不需要使用判别器来进行训练。其训练过程与通常的生成器有很大的不同，他并不是直接训练一个生产模型，而是训练一个正态分布，并使用其对原始噪声图片去噪来生成图片。至于如何为什么使用这个正态
阅读全文