摘要：
条件随机场（conditional random field）是给定随机变量 X 条件下，随机变量 Y 的马尔可夫随机场。本文主要介绍定义在线性链上的特殊的条件随机场，称为线性链条件随机场（linear-chain CRF)。线性链条件随机场可以用于机器学习里的标注问题。这时，在条件概率模型 $P( 阅读全文
摘要：
引言 条件随机场（conditional random field，以下简称CRF） 是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场（HMM 是状态序列的 Markov Chain）。CRF 可以用于不同的预测问题，在 Machine L 阅读全文
摘要：
生成模型与判别模型 在分类任务中，给定样本 $x$ ，需要对 $p(y|x)$ 建模，建模的方法分为生成方法与判别方法，对应的分别为生成模型与判别模型，生成模型直接对 $p(x,y)$ 建模，然后通过贝叶斯公式得到类别 $y$ 的后验分布即可： \[p(y|x) = \frac{p(x,y)}{p(x)}\] 使用生成模型建模可以体现不同类型数据各自的特点，从统计的角度表示数据的分布情况，能够反映... 阅读全文
摘要：
本文将涉及到用 EM 算法来求解 GMM 模型，文中会涉及几个统计学的概念，这里先罗列出来： 方差：用来描述数据的离散或波动程度. \[var(X) = \frac{\sum_{i=1}^N( X_i-\bar{X})^2}{N-1}\] 协方差：协方差表示了变量线性相关的方向，取值范围是 $[-\infty, +\infty]$，一般来说协方差为正值，说明一个变量变大另一个变量也变大；取负... 阅读全文
摘要：
K-Means K-Means 算法是一种聚类算法，聚类当然是无监督了，给定初始数据集 $\left \{x_i \right\}_{i=1}^N$ ,K-Means 会把数据分成 $K$ 个簇，每个簇代表不同的类别，K-Means 算法如下： 1. 从训练集 $\left \{x_i \right 阅读全文
摘要：
MLE 与 EM算法在参数估计里应用真是很多， PLSA就是用 EM 来求解的 ，估计这些都是概率图模型中会涉及到的，以后有机会再去系统的学习下概率图模型。 Maximum Likelihood Estimate 极大似然估计（MLE）是给定数据集后用来求解模型参数的方法，其问题形式是这样的，给定来自随机变量 $X$ 的观测数据集合 $\left \{ x_i \right \}_{i=1}... 阅读全文
摘要：
SVM 最终关于 $a$ 目标函数为凸优化问题，该问题具有全局最优解，许多最优化算法都可以解决该问题，但当样本容量相对很大时，通常采用 SMO 算法（比如 LIBSVM），该算法为启发式算法，考虑在约束优化问题中，目标函数的最优解 $a^*$ 是需要满足 KKT 条件的，因为对偶问题有解的充要条件就是 $a^*$ 的所有分量都满足 KKT 条件，若满足那么这时 $a^*$ 便是最优解了，否则应该找... 阅读全文
摘要：
作者 Yongzheng (Tiger) Zhang ，译者 木环 ，本人只是备份一下。。 LinkedIn前不久发布两篇文章分享了自主研发的文本分析平台Voices的概览和技术细节。LinkedIn认为倾听用户意见回馈很重要，发现反馈的主要话题、用户的热点话题和痛点，能够做出改善产品、提高用户体验 阅读全文
摘要：
在 SVM 中引入核方法便可使得 SVM 变为非线性分类器，给定非线性可分数据集 $\left \{ (x_i,y_i)\right\}_{i=1}^N$，如下图所示，此时找不到一个分类平面来将数据分开，核方法可以将数据投影到新空间，使得投影后的数据线性可分，下图给出一个 $\mathbb{R}^2 阅读全文
摘要：
关于 SVM 的博客目录链接，其中前1,2 两篇为约束优化的基础，3,4,5 三篇主要是 SVM 的建模与求解， 6 是从经验风险最小化的方式去考虑 SVM。 1. 约束优化方法之拉格朗日乘子法与KKT条件拉 2. 格朗日对偶 3. 支持向量机SVM 4. SVM 核方法 5. Sequential 阅读全文