随笔分类 - ML & DL 杂碎知识
摘要：1 前言 蒙特卡罗法有 直接抽样法、接收-拒绝抽样法、重要性抽样法。 2 直接抽样法 假如 $p(x)$ 是要采样的分布。若可以得到 $x$ 的概率密度函数 $p(x)$, 对 $p(x)$ 求积分得到累积分布函数 $F(x)$，显然 $x$ 和 $y$ 是一 一对应的。 先随机抽取 $y$，然后通
阅读全文
摘要：https://zhuanlan.zhihu.com/p/288300334 import torch import torch.nn as nn import numpy as np a = torch.tensor([[[1.0,2.0,3.0], [4.0,5.0,6.0]], [[1.0,2
阅读全文
摘要：https://zhuanlan.zhihu.com/p/218245556
阅读全文
摘要：一、图神经网络的鲁棒性简介 图神经网络的鲁棒性研究基本上是跟随了卷积神经网络里的鲁棒性研究。给定一张图片，如下所示，可以将其放入CNN模型里，训练好的CNN模型可以给我们不错的效果。但是如果我们给图片加入微小的扰动 $\varepsilon$ (肉眼可能无法识别的扰动)，CNN模型可能就会受到欺骗，
阅读全文
摘要：Weisfeiler-Lehman 算法 很多论文中会讲，从另一个角度来讲，GCN模型可以看作图上非常有名的 Weisfeiler-Lehman 算法的一种变形。那么什么是 Weisfeiler-Lehman 算法呢？ 一维的 Weisfeiler-Lehman 如下所示： 下面举例说明 Wisfe
阅读全文
摘要：1 地址 2 tensorflow中文版教程 3 100天掌握机器学习 4 100天Python学习 5 100天算法挑战题集 6 使用多种语言实现算法的github项目 7 专为大学生学习编程的网站 8 机器学习 - 竞赛网站，算法刷题网站 数据竞赛类网站 Kaggle 阿里巴巴天池大数据比赛 D
阅读全文
摘要：原谅我写中文太累了，而且相信在座的都有一定的英文水平。 KL散度 考虑某个未知分布 $p(x)$ ，假定已经使用一个近似的分布 $q(x)$ 对它进行建模。如果使用 $q(x)$ 来建立一个编码体系，用来把 $x$ 的值传给接收者，那么，由于使用 了 $q(x) $ 而不是真实分布 $ p(x) $
阅读全文
摘要：1 KL散度 KL散度(Kullback–Leibler divergence) 定义如下： $D_{K L}=\sum\limits_{i=1}^{n} P\left(x_{i}\right) \times \log \left(\frac{P\left(x_{i}\right)}{Q\left(
阅读全文
摘要：1 GAN基本概念 1.1 什么是生成对抗网络? 生成对抗网络(GAN, Generative adversarial network) 在 2014 年被 Ian Goodfellow 提出。 GAN 由 生成器 和 判别器 组成，生成器负责生成样本，判别器负责判断生成器生成的样本是否为真。生成器
阅读全文
摘要：高水平博客 从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (一) 从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (二) 从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (三) 备忘要
阅读全文
摘要：引入 聚类算法一般可以分为两类： Compactness。代表的算法有 K-means，GMM 等。但这类算法只能处理凸集，为了处理非凸的样本集，必须引⼊核技巧。 Connectivity。这类以 spectral clustering 为代表。 举个例子，将下述数据采用聚类算法进行聚类，可以采用
阅读全文
摘要：图神经网络基础目录： 《图神经网络基础一：傅里叶级数与傅里叶变换》 《图神经网络基础二——谱图理论》 论文解读GCN 1st《 Deep Embedding for CUnsupervisedlustering Analysis》 一、从简单变换到傅里叶级数 如下图所示，在笛卡尔坐标系中，定义一组基
阅读全文
摘要：前言 在图像增强中，平滑是为了消除图像中噪声的干扰，或者降低对比度，与之相反，有时为了强调图像的边缘和细节，需要对图像进行锐化，提高对比度。图的边缘是指在局部不连续的特征。原理 拉普拉斯锐化图像是根据图像某个像素的周围像素到此像素的突变程度有关，也就是说它的依据是图像像素的变化程度。我们知道，一个函
阅读全文
摘要：概念 零概率问题：在计算事件的概率时，如果某个事件在观察样本库（训练集）中没有出现过，会导致该事件的概率结果是 $0$ 。这是不合理的，不能因为一个事件没有观察到，就被认为该事件一定不可能发生（即该事件的概率为 $0$ ）。 拉普拉斯平滑(Laplacian smoothing) 是为了解决零概率的
阅读全文
摘要：前言 数据分为两类：欧几里得数据与非欧几里得数据 欧几里得数据 特点：“排列整齐”，是一类具有很好的平移不变性的数据。 图像中的平移不变性：即不管图像中的目标被移动到图片的哪个位置，得到的结果（标签）应该相同的。 对于这类数据以其中一个像素为中心点，其邻居节点的数量相同。可以很好的定义一个全局共享的
阅读全文
摘要：图神经网络基础目录： 《图神经网络基础一：傅里叶级数与傅里叶变换》 《图神经网络基础二：谱图理论》 1、图的拉普拉斯矩阵 1.1 拉普拉斯算子 拉普拉斯算子 (Laplace Operator) 是为欧几里德空间中的一个二阶微分算子，定义为梯度的散度，可以写作 $\Delta, \nabla^{2}
阅读全文