随笔分类 - deep_learning
利用交叉熵评估损失平坦度
摘要：背景介绍 在进行模型训练的时候，我们通常假设训练集和测试集是独立同分布的。可事实上，两个数据集往往难以做到完全同分布，这也是有时候训练集效果很好，但是测试集效果稍差的原因之一（当然，最可能的是过拟合了）。在同一个域（可以简单把“域”理解为同一个数据集）的数据集都存在这个问题，在不同域的数据集更是如此
多通道卷积和卷积参数的理解
摘要：卷积的具体执行流程不属于本博客的重心。 问题描述 卷积的大致执行流程是卷积核对输入张量进行多项式求和运算。如果输入的张量有多个通道，如RGB三通道，那么卷积又是怎么执行的呢？1X1卷积（记作一维卷积）不能获取到局部特征，那么其存在的意义是什么呢？一维卷积的可学习参数是否就是1个呢？ 问题总结： 多通
论文笔记——流量预测
摘要：[!NOTE] Ctrl + Enter：表格添加一行 Shift + Enter：表格内部换行，相当于末尾加\br 论文总结 Graph WaveNet 2019年，IJCAI，Graph WaveNet for Deep Spatial-Temporal Graph Modeling，交通流量预
图神经网络——GCN聚合原理理解
摘要：本博客基于B站UP主望舒同学的图神经网络系列讲解及代码实现-GCN1。 GCN的核心思想：通过邻接矩阵A对结点特征进行聚合，用于更新某结点特征。不同的聚合方式
图神经网络知识总结——归一化
摘要：本文以Graph WaveNet为主体，总结其使用到的（图）神经网络知识点以及相应代码实现方式。 对称归一化邻接矩阵 介绍 对称归一化邻接矩阵（Symmetrically normalize adjacency matrix），更适合无向图。 作用 将邻接矩阵归一化处理，使得每一行/列的和等于1（类
归一化指数函数——softmax函数
摘要：概念与应用 Softmax函数常用于多分类任务，将模型输出值归一化到[0,1]范围内，作为样本的概率。二分类可以看作是多分类的一种。因此，Softmax函数可以兼容logistics函数。logistics可以将输出归一化到[0,1]，但是仅输出正类的概率值。Softmax可以输出每一个样本对应的概
全连接层详解
摘要：该博客仅是笔者对于全连接层的浅薄理解。如果存在问题，请务必告知我，谢谢。 前言 全连接层是常见的神经网络层，可以作为模型的分类器（可理解为将特征维度映射到类别维度上），也可以作为特征提取。不过，对于初学者，可以直接认为全连接层是模型的分类器。毕竟大多数情况下，全连接层都是扮演的分类器的角色。 全连接
Perceptron感知机
摘要：感知机：权衡输入的因素，做出决策。同时，能做出逻辑判断，并、或、异或。 单个感知机 输入
