摘要：
序列数据如何做对比学习 前文对比学习入门中我们介绍了图片的例子，在另一篇文章CPC中作者在音频数据上做对比学习，进一步所有序列数据都可以使用对比学习。为此我们在这篇文章中以一个简单的例子介绍序列数据如何做对比学习，方便大家理解CPC的原理，原文其实挺难理解的。 简单的例子 我们以语言序列（I lik 阅读全文
摘要：
对比学习入门 对比学习思想从2018年InstDist[1]论文中首次提出至今，在2020年左右达到繁盛，如今已经成为了几乎所有深度学习网络训练必备的一环。现如今的计算机视觉，文生图，多模态大模型中都得到了非常广泛地运用。对比学习作为一种无监督学习，不需要人工标签信息并且可以通过一系列数据增强方法扩 阅读全文
摘要：
ddpm实际案例 1.选择一个数据集 我们使用一个10000个数据的二位坐标特征的S字母作为数据集 %matplotlib inline import matplotlib.pyplot as plt import numpy as np from sklearn.datasets import m 阅读全文
摘要：
Denoising Diffusion Probabilistic Models[1] 《Denoising Diffusion Probabilistic Models》简称ddpm。扩散模型的里程碑式文章，简单来说，扩散模型包含两个过程： 前向过程（从右向左）：原始分布
摘要：
ddpm损失函数 从本文开始正式介绍ddpm损失函数。在扩散模型推导前置中我们首次介绍了最大化似然的目标，通过逆向过程
摘要：
ddpm逆向过程推导 本文正式开始了ddpm逆向过程的推导，在逆向推导之前，我们将前一篇文章的推导结果做一个总结。 前文总结 我们目前已知前线过程
摘要：
假设我们有一个来自 HuggingFace 的Transformer模型。 我们如何确定 它的参数数量？ 它的内存需求？ 它的网络结构？ 我们以GPT2作为例子进行介绍 from transformers import GPT2Model model = GPT2Model.from_pretrai 阅读全文
摘要：
扩散模型推导前置 鉴于扩散模型是一个非常严谨的数学推导过程，所以开始讲解DDPM等众多扩散模型公式前，需要先了解推导所需要的基本知识。其中涉及到的高等数学的内容都算比较简单的。本文将对论文的background段落的关键公式进行推导，尽量以高等数学基础知识解释清楚这里的背景原理，让看论文的人没那么懵 阅读全文
摘要：
Java的HashMap源码中用到的(n-1)&hash这样的运算，查找发现这是一种高效的求余数的办法，但其中的原理是什么呢为什么可以这么做呢？ 先上结论：假设被除数是x，对于除数是2n的取余操作x%2n，都可以写成x&(2n-1)，位运算效率高！ eg:259%8=259&7=3 259 1000 阅读全文
