飞鸟各投林

摘要： 本文转自：http://www.cnblogs.com/syx-1987/p/4077325.html 路径1-1-1-1的概率：0.4*0.45*0.5=0.09 路径2-2-2-2的概率:0.018 路径1-2-1-2:0.06 路径1-1-2-2:0.066 由此可得最优路径为1-1-1-1 阅读全文

摘要： 本文参考自：http://blog.csdn.net/happyzhouxiaopei/article/details/7960876 这三个模型都可以用来做序列标注模型。但是其各自有自身的特点，HMM模型是对转移概率和表现概率直接建模，统计共现概率。而MEMM模型是对转移 概率和表现概率建立联合概 阅读全文

摘要： 最大熵模型 最大熵原理 举例 阅读全文

摘要： 本文参考来自于：http://blog.csdn.net/wwjiang_ustc/article/details/50732211 在自然语言处理中，经常要计算单词序列（句子）出现的概率估计。我们知道，算法在训练时，语料库不可能包含所有可能出现的序列。 因此，为了防止对训练样本中未出现的新序列概率 阅读全文

摘要： 一、交叉熵 (1):离散表示： (2):连续表示： 两项中 H(p)是 p的信息熵，后者是p和q的相对熵； 二、相对熵 (1):离散表示： (2):连续表示： 三、二者关系 阅读全文