随笔分类 -  deep_learning

Batch Normalization原理讲解
摘要：原理讲解 如今，在骨干网络中，几乎都会使用到Batch Normalization (BN)，比如十分经典的ResNet系列。在我们初学深度学习的时候，最早接触的应该是多层感知机或者卷积神经网络，它们大都没有使用BN。那么为什么现在的卷积神经网络几乎都会使用BN呢？BN又是如何实现的呢？ 为什么需要 阅读全文
posted @ 2026-01-01 13:53 顾子郤 阅读(11) 评论(0) 推荐(0)
熵、交叉熵、KL散度
摘要：熵 描述自身分布的不确定性。 熵是干什么的？ 熵是度量不确定性的。如果某个东西越不确定，那么我就需要用更多的信息才能弄清楚它。此时，熵就很大。 事件越均匀，不确定性越大 举个例子，从1-100个数字里等概率抽取一个数字。由于是等概率的，所以不确定性很大，即熵很大。如果从2个红苹果和1个绿苹果里，抽中 阅读全文
posted @ 2025-11-19 14:21 顾子郤 阅读(11) 评论(0) 推荐(0)
域泛化DomainBed的评价指标含义解释
摘要：DomainBed是域泛化领域的公认框架，其统一了输入输出以及相关细节处理，使得泛化性能比较更加公平公正，但是庞大的框架使其理解十分困难，今天首先介绍其评价指标，即Selection字段。 结果展示 + + + + + + + | Selection | art_painting | cartoon 阅读全文
posted @ 2025-09-27 12:37 顾子郤 阅读(46) 评论(0) 推荐(0)
范数
摘要：在深度学习领域，我们经常会看见范数这个词语，但是对于像我一样刚接触深度学习的初学者来说，其实难以理解什么是范数，常常会选择直接跳过。同时，现有博客中常常会解释常见的范数，如最常见的2范数以及其公式。不过，这不足以让我们去理解范数。 什么是范数 在现实生活中，我们会用路程来描述A点到B点之间的距离。那 阅读全文
posted @ 2025-07-23 23:13 顾子郤 阅读(74) 评论(0) 推荐(0)
对比学习InfoNCE损失
摘要：介绍 核心思想：将正样本拉近，将负样本推远。通俗来讲，让相似的样本在特征空间中靠得更近，不相似的样本在特征空间中距离更远。主要用与自监督或无监督场景下的特征学习，然后用于下游任务。 对比学习 强化学习 学习好的特征 学习好的策略 常用的使用场景有： 计算机视觉 图像检索：拉近正样本，故很容易检索到相 阅读全文
posted @ 2025-05-26 20:05 顾子郤 阅读(1976) 评论(0) 推荐(0)
利用交叉熵评估损失平坦度
摘要：背景介绍 在进行模型训练的时候，我们通常假设训练集和测试集是独立同分布的。可事实上，两个数据集往往难以做到完全同分布，这也是有时候训练集效果很好，但是测试集效果稍差的原因之一（当然，最可能的是过拟合了）。在同一个域（可以简单把“域”理解为同一个数据集）的数据集都存在这个问题，在不同域的数据集更是如此 阅读全文
posted @ 2025-03-03 21:07 顾子郤 阅读(82) 评论(0) 推荐(0)
多通道卷积和卷积参数的理解
摘要：卷积的具体执行流程不属于本博客的重心。 问题描述 卷积的大致执行流程是卷积核对输入张量进行多项式求和运算。如果输入的张量有多个通道，如RGB三通道，那么卷积又是怎么执行的呢？1X1卷积（记作一维卷积）不能获取到局部特征，那么其存在的意义是什么呢？一维卷积的可学习参数是否就是1个呢？ 问题总结： 多通 阅读全文
posted @ 2024-09-04 16:46 顾子郤 阅读(287) 评论(0) 推荐(0)
论文笔记——流量预测
摘要：[!NOTE] Ctrl + Enter：表格添加一行 Shift + Enter：表格内部换行，相当于末尾加\br 论文总结 Graph WaveNet 2019年，IJCAI，Graph WaveNet for Deep Spatial-Temporal Graph Modeling，交通流量预 阅读全文
posted @ 2024-09-03 16:00 顾子郤 阅读(188) 评论(0) 推荐(0)
图神经网络——GCN聚合原理理解
摘要：本博客基于B站UP主望舒同学的图神经网络系列讲解及代码实现-GCN1。 GCN的核心思想：通过邻接矩阵A对结点特征进行聚合，用于更新某结点特征。不同的聚合方式\(\rightarrow\) GCN变体。 GCN基于的一个假设：结点的特征与其邻居结点有密切的关系，并且距离越近的邻居关系越大。 GCN聚 阅读全文
posted @ 2024-08-29 17:02 顾子郤 阅读(635) 评论(0) 推荐(1)
图神经网络知识总结——归一化
摘要：本文以Graph WaveNet为主体，总结其使用到的（图）神经网络知识点以及相应代码实现方式。 对称归一化邻接矩阵 介绍 对称归一化邻接矩阵（Symmetrically normalize adjacency matrix），更适合无向图。 作用 将邻接矩阵归一化处理，使得每一行/列的和等于1（类 阅读全文
posted @ 2024-08-29 14:39 顾子郤 阅读(1209) 评论(0) 推荐(0)
归一化指数函数——softmax函数
摘要：概念与应用 Softmax函数常用于多分类任务，将模型输出值归一化到[0,1]范围内，作为样本的概率。二分类可以看作是多分类的一种。因此，Softmax函数可以兼容logistics函数。logistics可以将输出归一化到[0,1]，但是仅输出正类的概率值。Softmax可以输出每一个样本对应的概 阅读全文
posted @ 2024-08-13 15:02 顾子郤 阅读(916) 评论(0) 推荐(1)
全连接层详解
摘要：该博客仅是笔者对于全连接层的浅薄理解。如果存在问题，请务必告知我，谢谢。 前言 全连接层是常见的神经网络层，可以作为模型的分类器（可理解为将特征维度映射到类别维度上），也可以作为特征提取。不过，对于初学者，可以直接认为全连接层是模型的分类器。毕竟大多数情况下，全连接层都是扮演的分类器的角色。 全连接 阅读全文
posted @ 2024-08-12 15:44 顾子郤 阅读(801) 评论(0) 推荐(2)
Perceptron感知机
摘要：感知机：权衡输入的因素，做出决策。同时，能做出逻辑判断，并、或、异或。 单个感知机 输入\(x_i\)，依据各自的权重，计算出输出。 根据阈值，判断输出是1还是0。 \[output = \begin{cases} 0, &{if }\sum_j w_jx_j \leq threshold \\ 1 阅读全文
posted @ 2024-04-06 22:49 顾子郤 阅读(93) 评论(0) 推荐(0)