08 2016 档案
摘要：CRF 的预测问题是给定模型参数和输入序列（观测序列）x， 求条件概率最大的输出序列（标记序列）$y^*$，即对观测序列进行标注。条件随机场的预测算法同 HMM 还是维特比算法，根据 CRF模型可得： \begin{aligned}y^* &= \arg \max_yP_w(y|x) \\&= \a
阅读全文
摘要：本节讨论给定训练数据集估计条件随机场模型参数的问题，即条件随机场的学习问题。条件随机场模型实际上是定义在时序数据上的对数线形模型，其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及 L-BFGS 算法。（crf++ 采用了 L-BFGS 优化的方式，所以着重看这种训练方法即可） L-BFGS算法 对于条件随机场模型： \[P_w(y|x) ...
阅读全文
摘要：条件随机场的概率计算问题是给定条件随机场 P(Y|X) ，输入序列 x 和输出序列 y ,计算条件概率 $P(Y_{i-1} = y_{i-1}Y_i = y_i|x)$ ，$P(Y_i = y_i|x)$ 以及相应的数学期望的问题。为了方便起见，像 HMM 那样，引进前向-后向向量，递归地计算以上
阅读全文
摘要：条件随机场（conditional random field）是给定随机变量 X 条件下，随机变量 Y 的马尔可夫随机场。本文主要介绍定义在线性链上的特殊的条件随机场，称为线性链条件随机场（linear-chain CRF)。线性链条件随机场可以用于机器学习里的标注问题。这时，在条件概率模型 $P(
阅读全文
摘要：引言 条件随机场（conditional random field，以下简称CRF） 是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场（HMM 是状态序列的 Markov Chain）。CRF 可以用于不同的预测问题，在 Machine L
阅读全文
摘要：生成模型与判别模型 在分类任务中，给定样本 $x$ ，需要对 $p(y|x)$ 建模，建模的方法分为生成方法与判别方法，对应的分别为生成模型与判别模型，生成模型直接对 $p(x,y)$ 建模，然后通过贝叶斯公式得到类别 $y$ 的后验分布即可： \[p(y|x) = \frac{p(x,y)}{p(x)}\] 使用生成模型建模可以体现不同类型数据各自的特点，从统计的角度表示数据的分布情况，能够反映...
阅读全文
摘要：本文将涉及到用 EM 算法来求解 GMM 模型，文中会涉及几个统计学的概念，这里先罗列出来： 方差：用来描述数据的离散或波动程度. \[var(X) = \frac{\sum_{i=1}^N( X_i-\bar{X})^2}{N-1}\] 协方差：协方差表示了变量线性相关的方向，取值范围是 $[-\infty, +\infty]$，一般来说协方差为正值，说明一个变量变大另一个变量也变大；取负...
阅读全文
摘要：K-Means K-Means 算法是一种聚类算法，聚类当然是无监督了，给定初始数据集 $\left \{x_i \right\}_{i=1}^N$ ,K-Means 会把数据分成 $K$ 个簇，每个簇代表不同的类别，K-Means 算法如下： 1. 从训练集 $\left \{x_i \right
阅读全文
摘要：MLE 与 EM算法在参数估计里应用真是很多， PLSA就是用 EM 来求解的 ，估计这些都是概率图模型中会涉及到的，以后有机会再去系统的学习下概率图模型。 Maximum Likelihood Estimate 极大似然估计（MLE）是给定数据集后用来求解模型参数的方法，其问题形式是这样的，给定来自随机变量 $X$ 的观测数据集合 $\left \{ x_i \right \}_{i=1}...
阅读全文
摘要：SVM 最终关于 $a$ 目标函数为凸优化问题，该问题具有全局最优解，许多最优化算法都可以解决该问题，但当样本容量相对很大时，通常采用 SMO 算法（比如 LIBSVM），该算法为启发式算法，考虑在约束优化问题中，目标函数的最优解 $a^*$ 是需要满足 KKT 条件的，因为对偶问题有解的充要条件就是 $a^*$ 的所有分量都满足 KKT 条件，若满足那么这时 $a^*$ 便是最优解了，否则应该找...
阅读全文
摘要：作者 Yongzheng (Tiger) Zhang ，译者 木环 ，本人只是备份一下。。 LinkedIn前不久发布两篇文章分享了自主研发的文本分析平台Voices的概览和技术细节。LinkedIn认为倾听用户意见回馈很重要，发现反馈的主要话题、用户的热点话题和痛点，能够做出改善产品、提高用户体验
阅读全文
摘要：在 SVM 中引入核方法便可使得 SVM 变为非线性分类器，给定非线性可分数据集 $\left \{ (x_i,y_i)\right\}_{i=1}^N$，如下图所示，此时找不到一个分类平面来将数据分开，核方法可以将数据投影到新空间，使得投影后的数据线性可分，下图给出一个 $\mathbb{R}^2
阅读全文
摘要：关于 SVM 的博客目录链接，其中前1,2 两篇为约束优化的基础，3,4,5 三篇主要是 SVM 的建模与求解， 6 是从经验风险最小化的方式去考虑 SVM。 1. 约束优化方法之拉格朗日乘子法与KKT条件拉 2. 格朗日对偶 3. 支持向量机SVM 4. SVM 核方法 5. Sequential
阅读全文
摘要：1. 工厂模式 工厂模式又细分为三种，分为简单工厂、工厂方法、抽象工厂这三种，分别介绍： 1）简单工厂模式：当需要产品类时，只需要传入一个对应该产品类的参数，就可以获取所需要的对象，无须知道其创建细节。 2） 工厂方法模式：一个抽象产品类，可以派生出多个具体产品类。一个抽象工厂类，可以派生出多个具体
阅读全文
摘要：本文讲解的是无约束优化中几个常见的基于梯度的方法，主要有梯度下降与牛顿方法、BFGS 与 L-BFGS 算法。 梯度下降法是基于目标函数梯度的，算法的收敛速度是线性的，并且当问题是病态时或者问题规模较大时，收敛速度尤其慢（几乎不适用）； 牛顿法是基于目标函数的二阶导数（Hesse 矩阵）的，其收敛速
阅读全文
摘要：本文总结了一些二分查找的变形，其中大部分来自 leetcode 1. (leetcode 33) Search in Rotated Sorted Array (i.e., 0 1 2 4 5 6 7 might become 4 5 6 7 0 1 2). public int search(in
阅读全文
摘要：最近的看的一些内容好多涉及到凸优化，没时间系统看了，简单的了解一下，凸优化的两个基本元素分别是凸函数与凸包 凸集 凸集定义如下： 也就是说在凸集内任取两点，其连线上的所有点仍在凸集之内。 凸函数 凸函数的定义如下： $\theta x+(1-\theta)y$的意思就是说在区间 $(x,y)$ 之间
阅读全文