2024 年 10月随笔档案 - Brain404

【论文精读】On the Relationship Between Self-Attention and Convolutional Layers

摘要：【论文精读】On the Relationship Between Self-Attention and Convolutional Layers 作者: Jean-Baptiste Cordonnier, Andreas Loukas, Martin Jaggi 发表会议: ICLR 2020 论阅读全文

posted @ 2024-10-29 11:08 Brain404 阅读(276) 评论(0) 推荐(0) 编辑

【神经网络组件】attention层

摘要：目录1. 引入self-attention2. self-attention3. self-attention的并行计算4. 多头self-attention5. 位置编码，self-attention的扩展知识 attention层最早由Google提出，用在了Transformer中。如今，at 阅读全文

posted @ 2024-10-28 21:25 Brain404 阅读(152) 评论(0) 推荐(0) 编辑

【Python探寻之旅】可变对象，不可变对象，深拷贝，浅拷贝

摘要：目录1. 可变对象和不可变对象1.1 “对象的值可以改变”是什么意思？1.2 “对象的值不能改变”是什么意思？1.3 总结2. 用=赋值有什么问题3. copy模块登场4. 重新认识列表对象5. 浅拷贝，深拷贝5.1 浅拷贝（copy.copy()）浅拷贝的原理浅拷贝举例5.2 浅拷贝后，修改z中不阅读全文

posted @ 2024-10-21 11:31 Brain404 阅读(243) 评论(0) 推荐(0) 编辑

四、扩散模型（Diffusion Model）的推理过程

摘要：推理过程也叫采样过程，是从噪音

x_{T}

$\mathbf{x}_T$ 中逐步去噪，最终生成图片的过程文章内容主要参考了李宏毅老师的课程目录1. 扩散模型的推理过程推理过程第1步推理过程第3步推理过程第4步2. 总结 1. 扩散模型的推理过程在论文中，扩散模型的推理过程如下推理过程第1步生成噪音\( 阅读全文

posted @ 2024-10-19 11:40 Brain404 阅读(278) 评论(1) 推荐(0) 编辑

三、为什么扩散模型使用均方误差损失（选看）

摘要：高能预警：这篇文章难度很大，包含很多的数学推导，如果不想接触太多的数学内容，那么可以跳过不看。看这篇文章之前，你需要了解：什么是马尔科夫链，什么是极大似然估计，什么是KL散度，两个正态分布的KL散度，什么是贝叶斯公式以下内容参考了主要参考了博客What are Diffusion Models? 阅读全文

posted @ 2024-10-19 11:13 Brain404 阅读(564) 评论(0) 推荐(0) 编辑

【Python探寻之旅】单元测试模块unittest

摘要：目录1. 基本用法2. 一个测试函数中可以包含多个断言3. assertTrue断言和assertRaises断言4. 例子5. 为什么不用print而用unittest 1. 基本用法假设有一个函数add def add(x, y): return x + y 如果我们想要测试这个函数的正确性，阅读全文

posted @ 2024-10-18 10:08 Brain404 阅读(81) 评论(0) 推荐(0) 编辑

二、扩散模型（Diffusion Model）的训练过程

摘要：扩散模型的训练过程阅读全文

posted @ 2024-10-17 12:09 Brain404 阅读(1162) 评论(0) 推荐(0) 编辑

一、扩散模型（Diffusion Model）的思想

摘要：生成图片的过程，很像艺术家雕刻雕像的过程。艺术家从一块石头开始，逐渐的雕刻出优美的雕像。同样的，扩散模型从全是噪音的图片开始，逐步降噪，最终生成想要的图片。阅读全文

posted @ 2024-10-16 21:06 Brain404 阅读(183) 评论(0) 推荐(0) 编辑

为什么是正态分布如此常见

摘要：中心极限定理规定：许多独立随机变量的和满足正态分布。自然界中，很多东西都是由多个独立因素共同影响的，根据中心极限定理，它们都符合正态分布。阅读全文

posted @ 2024-10-15 16:56 Brain404 阅读(86) 评论(0) 推荐(0) 编辑

什么是随机变量

摘要：随机变量的本质是函数，但也可以看作是一种特殊的变量。阅读全文