摘要：
前面介绍隐马尔可夫模型时，讲到其可以作为自然语言处理的一种方法，但是隐马尔可夫做了很强的假设：齐次马尔可夫性假设和观测独立性假设，这两个假设却也影响了分类的准确性。而本篇介绍的条件随机场能弥补这一不足，因为去掉了观测独立性假设。参考文献1，我们简单介绍四个概率模型，并分析其之间的关系，最后再引出条件 阅读全文
摘要：
极大似然估计 上篇文章介绍了最大熵模型以及采用拉格朗日乘子法求解对偶问题，其模型的解如下， \begin{equation} P_{w}(y|x) = \frac 1 {Z_{w}(x)} \exp {\left( \sum\limits_{i=1}^n w_{i} f_{i}(x,y) \righ 阅读全文
摘要：
最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以最大熵原理也可以表述为在满足约束条件的模型集合中选择熵最大的模型。 设离散变量X的概率分布为P(X)，那么熵为 \begin{equation} H(P)=-\sum\l 阅读全文
摘要：
概率无向图模型 又称马尔可夫随机场(Markov random field)或马尔可夫网络，是一个由无向图表示的联合概率分布。 图是由结点和边组成，无向图中的边没有方向。概率无向图中结点表示随机变量，边表示结点之间的概率依赖关系。 成对马尔可夫性： 设u和v是无向图G中任意两个没有连接边的结点，对应 阅读全文
摘要：
预测算法 还记得隐马尔可夫模型的三个问题吗？本篇介绍第三个问题：预测问题，即给定模型参数和观测序列，求最有可能的状态序列，有如下两种算法。 近似算法 在每个时刻t选出当前最有可能的状态 it，从而得到一个状态序列。 给定隐马尔可夫模型参数 λ 和长度为T的观测序列O，在时刻 t 处于状态qi的概率为 阅读全文
摘要：
学习算法 训练数据集为观测序列，此外还可能有对应的状态序列（比如人工标注），如果包含了对应的状态序列则为监督学习，否则称非监督学习。 监督学习 设训练数据集包含S个长度相同的观测序列和对应的状态序列{(O1,I1), (O2,I2), ... , (Os,Is)}，那么可用极大似然估计法来估计隐马尔 阅读全文
摘要：
EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代分两步：E步，求期望（Expectation）；M步，求极大（Maximization）。 EM算法 这里也直接给出书上的例子，让还不了解的读者先上车...哦错了，先感受。不过这里阐述会简单些。 阅读全文
摘要：
基本概念 隐马尔可夫由初始概率分布、状态转移概率分布以及观测概率分布确定。 设Q是所有可能的状态，V是所有可能的观测 Q={q1,q2,...,qN}, V={v1,v2,...,vM} 其中，N为所有可能的状态数，M为所有可能的观测数。 设O是一个长度为T的观测序列，I为对应的状态序列 O={o1 阅读全文
摘要：
根据上一篇文章中的目标函数和约束条件(22)和(23)式，这是一个二次规划（quadratic programming，QP ）问题，先分析如何求解。 这里为了方便，再写一次目标函数和约束条件， (0) (1) 并且把模型输出函数也写一遍（从上一篇中(3)式而来）， (2) 然而实际上的训练数据集不 阅读全文