统计学习方法 - 随笔分类 - 颀周

Auto-Encoding Variational Bayes (VAE原文)、变分推理

摘要：变分自动编码器的大致概念已经理解了快一年多了，但是其中的数学原理还是没有搞懂，在看到相关的变体时，总会被数学公式卡住。下决心搞懂后，在此记录下我的理解。公式推导——变分下界这篇文章提出一种拟合数据集分布的方法，拟合分布最常见的应用就是生成模型。该方法遵循极大似然策略，即对于数据集$X = \{x 阅读全文

posted @ 2021-02-15 22:58 颀周阅读(2148) 评论(0) 推荐(5) 编辑

HMM——隐马尔可夫模型详解

摘要：隐马尔可夫模型（Hidden Markov Model, HMM）是可用于标注问题的模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。马尔可夫链不懂的可以把本科的《概率论与数理统计》找回来看一下，并不难，就是离散状态之间的转换。下面直接定义基本概念，为后面的算法做准备。基本概念变阅读全文

posted @ 2020-08-10 15:01 颀周阅读(2933) 评论(1) 推荐(3) 编辑

EM（最大期望）算法推导、GMM的应用与代码实现

摘要：EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。使用EM算法的原因首先举李航老师《统计学习方法》中的例子来说明为什么要用EM算法估计含有隐变量的概率模型参数。假设有三枚硬币，分别记作A， B， C。这些硬币正面出现的概率分别是

π, p, q

$\pi,p,q$ 。进行如下掷硬币试验：先掷硬币阅读全文

posted @ 2020-06-21 21:05 颀周阅读(5330) 评论(6) 推荐(14) 编辑

K均值聚类和代码实现

摘要：K均值聚类是一种无监督学习分类算法。介绍对于

n

$n$ 个

m

$m$ 维特征的样本，K均值聚类是求解最优化问题： $\displaystyle C^*=\text{arg}\min\limits_{C}\sum\limits_{l = 1}^K\sum\limits_{x\in C_l}||x-x_l||^ 阅读全文

posted @ 2020-06-10 16:10 颀周阅读(792) 评论(0) 推荐(2) 编辑

PCA——主成分分析

摘要：PCA 主成分分析（Principal Components Analysis, PCA）是一种降维方法。假设数据集

X \in R^{n \times m}

$X\in R^{n\times m}$ 包含

n

$n$ 条

m

$m$ 维数据，PCA即实现线性映射

Y = X D \in R^{n \times k}

$Y=XD\in R^{n\times k}$ 。其中矩阵$D\in R^{m\times k},k 阅读全文

posted @ 2020-05-25 23:22 颀周阅读(1578) 评论(1) 推荐(3) 编辑

SVM——支持向量机，人脸识别实验

摘要：最基本的SVM（Support Vector Machine）旨在使用一个超平面，分离线性可分的二类样本，其中正反两类分别在超平面的一侧。SVM算法则是要找出一个最优的超平面。下面从简单到复杂介绍三种SVM形式，然后介绍一种快速优化SVM的算法，最后用SVM实现人脸识别。线性可分SVM 优化函数阅读全文

posted @ 2020-05-25 16:18 颀周阅读(2725) 评论(0) 推荐(3) 编辑

非参数估计——核密度估计（Parzen窗）

摘要：核密度估计，或称Parzen窗，目标是利用离散的数据本身拟合出一个连续的分布，属于非参数估计。所谓非参数估计，即该估计并没有预设某种分布函数来对其参数进行求解或拟合，比如机器学习中K近邻法也是非参估计的一种。直方图首先从直方图切入。对于随机变量

X

$X$ 的一组抽样，即使

X

$X$ 的值是连续的，我们也可以阅读全文

posted @ 2020-04-11 20:54 颀周阅读(12796) 评论(13) 推荐(11) 编辑

统计学习方法——机器学习概论

摘要：简介统计学习，或者说机器学习的方法主要由监督学习、无监督学习和强化学习组成（它们是并列的，都属于统计学习方法）。统计学习方法要素 1、假设数据独立同分布。（同数据源的不同样本之间相互独立） 2*、假设要学习的模型属于某个函数的集合，称为假设空间。（你确定了这个函数的样式，就是假设空间，但是函数里阅读全文

posted @ 2020-03-18 19:50 颀周阅读(769) 评论(0) 推荐(1) 编辑

统计学习方法——朴素贝叶斯法、先验概率、后验概率

摘要：朴素贝叶斯法，就是使用贝叶斯公式的学习方法，朴素就是它假设输入变量（向量）的各个分量之间是相互独立的。所以对于分量之间不独立的分布，如果使用它学习和预测效果就不会很好。简化策略它是目标是通过训练数据集学习联合概率分布

P (X, Y)

$P(X, Y)$ 用来预测。书上说，具体是先学习到先验概率分布以及条件概率分布，阅读全文

posted @ 2020-01-25 15:03 颀周阅读(1991) 评论(0) 推荐(1) 编辑

统计学习方法——KD树K近邻搜索

摘要：李航老师书上的的算法说明没怎么看懂，看了网上的博客，悟出一套循环（建立好KD树以后的K近邻搜索），我想应该是这样的（例子是李航《统计学习算法》第三章56页；例3.3）：步骤结点查询标记栈内元素（本次循环结束后）最近点最近距离说明 A B C D E F G 初始化 0 0 0 0 0 0 阅读全文

posted @ 2019-12-04 21:13 颀周阅读(1045) 评论(0) 推荐(1) 编辑

LOADING . . .

qizhou

随笔分类 - 统计学习方法

公告

积分与排名

随笔分类 (184)

阅读排行榜

评论排行榜

推荐排行榜

最新评论