KL 散度(相对熵)
摘要:KL 散度又叫 相对熵,是衡量 两个概率分布 匹配程度的指标,KL 散度越大,分布差异越大,匹配度越低 计算公式如下 或者 其中 p是 目标分布,或者叫被匹配的分布,或者叫模板分布,q 是去匹配的分布; 试想,p 是真实值,q 是预测值,岂不是 个 loss function; 性质 如果 两个分布
阅读全文
中值滤波 - 进阶篇
摘要:均值滤波是一种线性滤波器,在去噪的同时 会造成边缘模糊问题,而且均值滤波仅对高斯噪声效果较好,对于椒盐噪声效果一般; 中值滤波是一种顺序滤波器,是非线性的,对于椒盐噪声效果较好,而且 保边 能力很强; 椒盐噪声:又称脉冲噪声,是一种随机出现的白点或者黑点,白点称为盐噪声,黑点称为椒噪声; 示例 im
阅读全文
beta 分布
摘要:我们比较熟悉均匀分布、二项分布等概率分布,那么 beta 分布是什么呢? 一句话,beta 分布表示 一种概率的 概率分布; 也就是说,当无法确定一件事的概率P时,我们可以把它所有概率P统计出来,然后每个P对应一个P',P'就是 beta 分布; 下面我从多个角度具体阐述一下 生活案例 投篮命中率估
阅读全文
DBSCAN
摘要:DBSCAN,Density-Based Spatial Clustering of Applications with Noise,具有噪声的基于密度的聚类算法 VS KMeans Kmeans 是最常用的聚类算法之一,但它只适用于 凸样本集,而 DBSCAN 适用于 凸样本集和非凸样本集,更多的
阅读全文
Mean shift 【1】- 基本原理
摘要:Mean shift 向量 中文名叫 均值偏移向量,定义如下: 在一个 n 维空间内,存在一个点 x,以该点为球心,以 h 为半径,生成一个球 Sh,计算球心到球内所有点生成的向量的均值,显然这个均值也是一个向量,这个向量就是 mean shift 向量 公式如下 【用 球心 计算 质心】 图示如下
阅读全文
核函数 <-- 内积 <-- 余弦相似
摘要:本文其实是为了讲核函数,由于核函数比较抽象,就从 余弦相似、内积 开始讲起,因为 核函数、内积、余弦相似 本质上都是一种相似性度量 的方式 内积 与 余弦相似度 内积 存在两个向量 a,b 内积为 余弦相似度 a·b = |a||b|cos(a, b) cos(a, b) = (a·b) / (|a
阅读全文
朴素贝叶斯
摘要:数学基础 朴素贝叶斯的数学理论非常简单,俩公式,三板斧 条件概率 贝叶斯定理,也叫贝叶斯公式,由条件概率直接推出 三板斧,先有P(A),称为先验概率,再有P(A|B),称为似然性,最终得到P(B|A),称为后验概率 先验概率:通过经验来判断事情发生的概率,比如说“贝叶死”的发病率是万分之一,就是先验
阅读全文
从 回归(简述) 到 广义线性模型
摘要:本文记住这句话就够了: 把线性回归 y=wx 加上一个连接函数 f(wx) 就可以转化成各种回归 线性回归 我们知道,线性回归需要满足几个非常重要的假设 1. 正态性:残差符合正态分布 2. 方差齐性:Y的方差相等,确切地说是 残差 的方差变化不大 为什么呢? Y=β0+β1x1+β2x2+…+βp
阅读全文
某次使用随机森林的总结
摘要:首先这个模型的使用没有问题;模型的评价也没有问题; 但是这个模型不能被工业化; 原因是数据本身有很大问题,典型的学术型数据; 问题如下:1. 误踩油门是 刻意为之,因为每次基本都踩到底了,而实际驾驶过程中不会踩到底2. 数据样本在 误踩油门 时加速踏板开度在100左右,而正常时刻加速踏板开度基本都很
阅读全文
动态时间规整-DTW简介
摘要:动态时间规整 ,Dynamic Time Warping,简称 DTW; 它是衡量 两个时间序列 之间相似性的 一种度量方式,特点是 序列的长度可以不同; 其主要应用于 语音识别 领域; 算法起源 我们知道相似性度量有很多种方式,那为什么还需要 DWT 这种算法? 举个 语音识别 的例子,比如我们早
阅读全文
时间序列 - 平稳性与差分
摘要:时间序列是随时间变化的序列,总体可分为 平稳 与 非平稳序列; 平稳序列 平稳序列即经由 样本时间序列 得到的拟合曲线在未来一段时间内仍能沿着现有形态发展下去; 数学描述如下: 均值和方差 不 随时间 t 变化而变化; 协方差 cov(xt,xt+k) 只与 周期(或者说时间间隔) K 有关,与时间
阅读全文
损失函数汇总 及 Pytorch用法汇总(迁移中)
摘要:损失函数,也可叫做 目标函数、代价函数 等,其意义不是完全一致,但是大体相同,不必纠结概念 常见 损失函数 0-1 损失:Zero-one loss 预测与实际相等为 0,不相等为 1; 缺点:定义太过严格,比如预测为 0.99,实际为 1,显然预测没问题,但是上述损失为 1 应用:不常用 感知损失
阅读全文
图像分割 - KMeans 实现
摘要:图像分割是一种图像处理方法, 它是指将一副图像分割成若干个互不相交的区域; 图像分割实质就是像素的聚类; 图像分割可以分为两类:基于边缘的分割,基于区域的分割, 聚类就是基于区域的分割; KMeans 实现图像分割 KMeans 分割图像实质上是对像素的聚类,每个类有个代表像素,把原始像素替换成该类
阅读全文
PyTorch【6】-线性回归_SGD_动量梯度下降
摘要:本篇是一个练手项目,目的在于: 1. 熟悉 pytorch 2. 实现 SGD 与 动量梯度下降,并对比收敛性 本教程环境 pytorch 1.3以上 手动实现线性回归模型,一个很简单的模型,不多介绍,直接上代码 import torch as t import matplotlib.pylab a
阅读全文
神经网络-初始化参数
摘要:初始化 w b,其实并没有特别统一的规定,只是有一些经验,而这些经验并没有被严格证明,所以不保证一定有效; 假设我们选择 sigmoid 为激活函数,我们需要把 sigmoid 的输入定格于 0 附近,因为这里梯度比较明显; 换句话说就是要把 wx+b 的值置于 0 左右,这样才不容易梯度消失; 核
阅读全文
吴恩达读书笔记【5】-流水线与端到端
摘要:首先,我们可以做这样简单的归纳:流水线适合传统机器学习算法,端到端适合深度学习算法; 【不绝对,但大多数情况下适用】 模型1-情感分类 假如我们正在构建一个情感分类的系统, 输入一句话,输出正面还是负面评论,如 这个拖把非常好用 正面, 这个产品非常不好用 负面, 对于流水线系统 可能包含多个组件,
阅读全文
吴恩达读书笔记【4】-调试推理算法
摘要:优化验证测试 假如我们正在构建一个语音识别系统,输入一段语音,输出转译的文字,算法的过程可能是这样的: 记输入语音为 A,它可能有多种翻译结果,我们称之为转录集,转录集中每个句子 S 有一个得分函数 SorceA(S),假设 SorceA(S)=P(S|A),表示 S 是正确翻译的概率; 给定某种方
阅读全文