统计学习方法 - 随笔分类 - eryo

统计学习方法学习笔记-09-EM算法及其推广

摘要：首先叙述EM算法，然后讨论EM算法的收敛性，作为EM算法的应用，介绍高斯混合模型的学习，最后介绍EM算法的推广-GEM算法 EM算法的引入目的：概率模型有时候既含有观测变量，也含有隐变量，EM算法就是含有隐变量的概率模型参数的极大似然估计法或极大后验概率估计法 EM算法输入：观测变量数据

Y

$Y$ ，阅读全文

posted @ 2022-10-09 16:51 eryo 阅读(150) 评论(0) 推荐(0) 编辑

统计学习方法学习笔记-08-提升方法

摘要：首先介绍提升算法的思路和代表性的提升算法AdaBoost，然后分析AdaBoost为什么可以提高学习精度，从前向分步加法模型的角度解释AdaBoost，最后介绍提升方法更具体的实力，提升树boosting tree 提升方法AdaBoost算法提升方法的基本思路三个臭皮匠顶个诸葛亮，在概率近似正阅读全文

posted @ 2022-10-07 19:44 eryo 阅读(28) 评论(0) 推荐(0) 编辑

统计学习方法学习笔记-07-支持向量机03

摘要：包含对三种支持向量机的介绍，包括线性可分支持向量机，线性支持向量机和非线性支持向量机，包含核函数和一种快速学习算法-序列最小最优化算法SMO。非线性支持向量机与核函数核技巧非线性分类问题给定一个训练数据集

T = (x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{N}, y_{N})

$T = {(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)}$ 阅读全文

posted @ 2022-09-18 23:14 eryo 阅读(45) 评论(0) 推荐(0) 编辑

统计学习方法学习笔记-07-支持向量机02

摘要：包含对三种支持向量机的介绍，包括线性可分支持向量机，线性支持向量机和非线性支持向量机，包含核函数和一种快速学习算法-序列最小最优化算法SMO。线性支持向量机与软间隔最大化假设训练集$T = {(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)},x_i \in \mathc 阅读全文

posted @ 2022-09-18 16:56 eryo 阅读(36) 评论(0) 推荐(0) 编辑

统计学习方法学习笔记-07-支持向量机01

摘要：包含对三种支持向量机的介绍，包括线性可分支持向量机，线性支持向量机和非线性支持向量机，包含核函数和一种快速学习算法-序列最小最优化算法SMO。线性可分支持向量机与硬间隔最大化线性可分支持向量机假设一个特征空间上线性可分的训练数据集$T = {(x_1,y_1),(x_2,y_2),\cdots 阅读全文

posted @ 2022-09-18 15:22 eryo 阅读(58) 评论(0) 推荐(0) 编辑

统计学习方法学习笔记-附录-拉格朗日对偶性

摘要：原始问题假设

f (x), c_{i} (x), h_{j} (x)

$f(x),c_i(x),h_j(x)$ 是定义在

R^{n}

$R^n$ 上的连续可微函数，考虑约束最优化问题 $$ \begin{aligned} \mathop{min}\limits_{x \in R^n}\ &f(x) \ s.t.\ &c_i(x) \leq 0,i = 1,2,\cdots 阅读全文

posted @ 2022-09-18 14:16 eryo 阅读(35) 评论(0) 推荐(0) 编辑

统计学习方法学习笔记-06-逻辑斯谛回归与最大熵模型01

摘要：首先介绍逻辑斯谛模型，然后介绍最大熵模型，最后讲述逻辑斯谛回归与最大熵模型的学习算法，包括改进的迭代尺度算法和拟牛顿法逻辑斯谛回归模型逻辑斯谛分布设

X

$X$ 是连续随机变量，具有下列分布函数和密度函数：

μ

$\mu$ 是位置参数，

γ > 0

$\gamma \gt 0$ 是形状参数，越小，分布函数在中心增长得越快 $ 阅读全文

posted @ 2022-09-15 23:10 eryo 阅读(98) 评论(0) 推荐(0) 编辑

统计学习方法学习笔记-05-决策树

摘要：首先介绍决策树的基本概念，然后通过

I D 3

$ID3$ 和

C 4.5

$C4.5$ 介绍特征的选择、决策树的生成以及决策树的修剪，最后介绍

C A R T

$CART$ 算法决策树模型与学习分类决策树模型的树结构有两种结点，内部结点表示一个特征或属性，叶结点表示一个类；决策树所有的从根节点到叶结点的路径构成if-else规则集，这些规则是阅读全文

posted @ 2022-09-15 14:53 eryo 阅读(65) 评论(0) 推荐(0) 编辑

统计学习方法学习笔记-04-朴素贝叶斯法

摘要：朴素贝叶斯的学习与分类，朴素贝叶斯的参数估计算法。朴素贝叶斯法的学习与分类设输入空间

X \subseteq R^{n}

$\mathcal{X} \subseteq R^n$ 为

n

$n$ 维向量的集合，输出空间为类标记集合

Y = c_{1}, c_{2}, \dots, c_{K}

$\mathcal{Y} = {c_1,c_2,\cdots,c_K}$ ，输入为特征向量$x \in \mathca 阅读全文

posted @ 2022-09-14 19:40 eryo 阅读(38) 评论(0) 推荐(0) 编辑

统计学习方法学习笔记-03-k近邻法

摘要：首先叙述

k

$k$ 近邻算法，然后讨论

k

$k$ 近邻模型及三个基本要素，最后讲述

k

$k$ 近邻法的一个实现方法，

k d

$kd$ 树，介绍构造和搜索

k d

$kd$ 树的算法。 k近邻算法输入：训练数据集

T = (x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{N}, y_{N})

$T = {(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)}$ ，其中，$x_i \in \mathca 阅读全文

posted @ 2022-09-14 16:52 eryo 阅读(163) 评论(0) 推荐(0) 编辑

统计学习方法学习笔记-02-感知机

摘要：首先介绍感知机模型，然后叙述感知机的学习策略，特别是损失函数，最后介绍感知机学习算法，包括原始模式和对偶模式，并证明算法的收敛性感知机模型输入空间(特征空间)：

X \subseteq R^{n}

$\mathcal{X} \subseteq R^n$ ，假设

x \in X

$x \in \mathcal{X}$ 输出空间：$\mathcal{Y} 阅读全文

posted @ 2022-09-14 13:58 eryo 阅读(78) 评论(0) 推荐(0) 编辑

随笔分类 - 统计学习方法

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜