摘要：
一、高斯混合模型参数估计的EM算法 假设观测数据$y_1, y_2,...,y_N$由高斯混合模型生成 $$ P(y|\theta) = \sum^k_{k=1} \alpha_k\phi(y|\theta_k)$$ 其中， $\theta = (\alpha_1, \alpha_2,...,\al 阅读全文
摘要：
概率模型有时含有观测变量，又含有隐变量或潜在变量。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或贝叶斯估计法估计模型参数。但是，当模型含有隐变量时，就不能简单地使用这些简单方法，EM算法就是含有隐变量的概率模型参数的极大似然估计法，极大后验概率估计法。 EM算法首先选取参 阅读全文
摘要：
提升方法通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。 一. 提升方法的基本思路 大多数提升方法都是改变训练训练数据的概率分布（训练数据的权值分布），针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。 1. 在每一轮是如何改变训练数据的权值或概率分布的呢？ 阅读全文
摘要：
正则化： 正则化是结构风险最小化策略的实现，是在经验风险上加上一个正则化项或罚项。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。比如正则化项可以是模型参数向量的范数。 正则化的作用： 选择经验风险与模型复杂度同时较小的模型 交叉验证： 在数据充足的情况下，会直接将数据分为训练集 阅读全文