文章分类 -  统计学习方法

非负矩阵分解
摘要：NMF(非负矩阵分解) $\frac{1}{2} |X WH|^2+\alpha l_1 |W|+\alpha l_1 |H|+\alpha (1 l_1) W^2+\alpha (1 l_1) H^2$ 输入 :X,$\alpha,l_1,p$ 输出 :W,H 1.计算W,H的$l_1，l_2$惩 阅读全文
posted @ 2018-01-15 16:22 blog_hfg
权重非线性拟合
摘要：拟合函数为$f_{\theta}(x),x$是输入，y是输出，$\theta$是参数，f是拟合函数 1.随机初始化参数$\theta$,$y=\sqrt{w}. y$ 2.计算拟合值$yfit=\sqrt{w}. f_{\theta}(x),err=y yfit$,以及$sse=r^T r$ 3.计 阅读全文
posted @ 2018-01-12 16:39 blog_hfg
正交函数光滑法
摘要：定义$L_2(a,b)$={$f:[a,b] \to R,\int_a^b f(x)^2 dx 阅读全文
posted @ 2018-01-08 15:51 blog_hfg
条件随机场
摘要：条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔科夫随机场。 图是由结点及连接结点的边组成的集合。结点和边分别记作v和e，结点和边的结合分别记作V和E，图记作G=(V,E).无向图是指边没有方向的图 概率图模型是由图表示的概率分布。设有联合 阅读全文
posted @ 2018-01-07 14:13 blog_hfg
隐马尔可夫模型
摘要：隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列。再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔可夫链随机生成的状态的序列，称为状态序列；每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列。序列的每一个位置又可以看作是一个时刻。 阅读全文
posted @ 2018-01-05 18:55 blog_hfg
EM算法与高斯混合模型
摘要：EM算法： 解决有隐变量的优化问题。如： 设想第k个观测数据$y_k$是这样产生的，首先依据概率选择第k个高斯分布模型，然后依第k个分模型的概率分布生成数据$y_K$。 1.高斯混合模型 一般地，用Y表示观测随机变量的数据，Z表示隐随机变量的数据。Y和Z连在一起称为完全数据，观测数据Y又称为不完全数 阅读全文
posted @ 2018-01-05 10:18 blog_hfg
Boosting
摘要：提升方法(Boosting)是一种常用的统计学习方法，应用广泛且且有效，在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能 提升方法基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好 A 阅读全文
posted @ 2018-01-04 17:14 blog_hfg
支持向量机
摘要：支持向量机的学习是在特征空间进行。学习的目标是在特征空间中找到一个分离超平面，能将实例分到不同的类。分离超平面对应于方程wx+b=0，它由法向量和截距b决定，可用(w,b)来表示。 一般来说，一个点距离分离超平面的远近可用表示分类预测的确信程度。 定义超平面(w,b)关于样本点$(x_i,y_i), 阅读全文
posted @ 2018-01-04 14:48 blog_hfg
最大熵模型
摘要：最大熵模型 最大熵原理是概率模型学习的一个准则，最大熵原理认为，学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。 最大熵模型 假设满足所有约束条件的模型集合为$C$={P$\ 阅读全文
posted @ 2018-01-03 19:24 blog_hfg
决策树
摘要：概论 决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪 决策树由结点和有向边组成。结点有两种类型:内部结点和叶结点，内部结点表示特征，叶节点表示类。 用决策树分类，从根结点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到其子结点;这时，每一个子结点对应着该特征的一个取值。如 阅读全文
posted @ 2017-12-21 15:58 blog_hfg
朴素贝叶斯方法
摘要：朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。 朴素贝叶斯与判别分析很像，只是判别分析需要假设数据服从的概率分布，而朴素贝叶斯用于离散数据，所以其条件概率是直接统计数据得来的 朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y).具体地，学习以下先验概率分布及条件概率分布。 先验分布 阅读全文
posted @ 2017-12-19 20:03 blog_hfg
概论
摘要：概率 统计学习方法包括模型的假设空间、模型选择的准则以及模型学习的算法，称为统计学习方法的三要素，简称未模型、策略和算法。实现统计学习方法的步骤如下： 1)得到一个有限的训练数据集合 2)确定包含所有可能的模型的假设空间，即学习模型的集合 3)确定模型选择的准则,即学习的策略 4)实现求解最优模型的 阅读全文
posted @ 2017-12-18 17:10 blog_hfg