11 2021 档案
摘要：无监督-DEEP GRAPH INFOMAX 标签：图神经网络、无监督 动机 在真实世界中，图的标签是较少的，而现在图神经的高性能主要依赖于有标签的真是数据集 在无监督中，随机游走牺牲了图结构信息和强调的是邻域信息，并且性能高度依赖于超参数的选择 贡献 在无监督学习上，首次结合互信息提出了一个图节点
阅读全文
摘要：自监督-Contrastive Multi-View Representation Learning on Graphs 标签：自监督，图神经网络 动机 GNN 大多数需要依赖于任务的标签来学习丰富的表示，尽管如此，与视频、图像、文本和音频等更常见形式相比，给图打上标签是一项挑战 最近关于通过最大化
阅读全文
摘要：图扩散-Diffusion Improves Graph Learning 标签：图神经网络、扩散技术 动机 图卷积的核心就是图神经网络，就是在一跳邻居节点上进行消息传递，这些消息在每个节点聚合，形成下一层的嵌入。虽然神经网络确实利用了更深层的高阶邻域，但将每一层的消息限制在一跳邻居似乎是随意的武断
阅读全文
摘要：自监督-Iterative Graph Self-distillation 标签：自监督、图神经、知识蒸馏、图学习、对比学习 动机 在各个领域图是普遍存在，虽然最近的图神经网络 GNN 在节点表示和图表示方面有很大的进展，其都是通过聚合邻居信息结合自身信息并通过非线性变换，但是这些网络的一个关键是需
阅读全文
摘要：线性分类-感知机模型 思想 错误驱动 假设数据 $ {(x_i,y_i)}_{i = 1}{N}、x_i \in Rp、y \in {-1, 1}$ 对于感知机模型： \[ f(x) = sign(w^Tx) \quad x\in R^p, w \in R^p \\ sing(a) = \begin
阅读全文
摘要：线性分类-逻辑回归 思想 线性回归模型是通过对数据的拟合得到一个线性方程，实现的是对连续目标的 \(X\) ，预测 \(Y\)，其范围在 \([+\infty, -\infty]\) 之间；而对于线性分类问题我们是要得到 $ {0, 1},或者 [0, 1]$ ，那如何通过线性回归到线性分类函数上呢
阅读全文
摘要：自监督-SelfGNN: Self-supervised Graph Neural Networks without explicit negative sampling 标签：自监督、图神经网络、对比学习 动机 在真实世界中许多数据大部分是有没有标签的，而打上标签的是需要很大花费的 现存的对比学习
阅读全文
摘要：知识蒸馏--Distilling the Knowledge in a Neural Network 动机 在普遍的训练当中，经过 softmax 后都是最大化正标签的概率，最小化负标签的概率。但是这样训练的效果导致了正标签的概率输出越来越接近 1， 负标签的概率越来越接近 0， 使得原本的负标签的
阅读全文
摘要：对比学习-Towards Robust Graph Contrastive Learning 标签：鲁棒性、对比学习、图神经 动机 提升对抗攻击中的鲁棒性，并扩展到自监督对比学习方法中 贡献 提出了图鲁棒对比学习 (GROC)，将对抗性转换整合到图形对比学习框架中，这是一种完全自监督的图算法，旨在实
阅读全文
摘要：PCA 解决过拟合的三个方法： 提升数据量 正则化 降维 直接降维（直接选择某些重要的特征） 线性降维（PCA, MDS） 非线性降维（流形，Isomap，LLE） 数据维度过多会导致数据稀疏性增大，形成维度灾难 思想 数据从原来的坐标系转换到新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐
阅读全文
摘要：预训练-Contrastive Self-supervised Learning for Graph Classification 标签：预训练、图神经网络、对比学习 动机 图分类在真实世界中有广泛的应用，比如一些化学分子和生物相关的研究，但是这些分子结构往往有很多，但是缺少真是标记，用于训练的图数
阅读全文
摘要：线性判别器（LDA） 线性判别器思想：类内小，类间大；通过选择一个投影方向将 \(p\) 维数据进行投影到 一维直接上，并且在这直线可以通过一个阈值进行分类。所以我们要找 \(w\)。 首先我们做以下定义： 数据集 $ {(x_i,y_i)}_{i=1}{N}、x \in Rp、 y \in {+1
阅读全文
摘要：SVM svm 解决的是分类问题，目的是在一个数据集中，找到一个超平面，能将数据集正确的分类 svm 三个重要的东西：间隔、对偶、核函数 最大间隔分类器 假设数据集(data)：\(\{x_i, y_i\}_{i = 1}^{N}\quad x_i\in R^p、y_i \in \{+1, -1\}
阅读全文
摘要：最大似然估计 概率 定义 某个事件发生的可能性，通常知道分布规律以及具体参数的情况下，就可以计算出某个事件发生的概率 似然 定义 给定已知数据来拟合模型，或者说给定某一结果，求某一参数值的可能性 似然函数与概率密度函数 设总体分布 \(f(X;\theta)\)，\(x1, ...,x_n\) 是从
阅读全文
浙公网安备 33010602011771号