摘要：
最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以最大熵原理也可以表述为在满足约束条件的模型集合中选择熵最大的模型。 设离散变量X的概率分布为P(X)，那么熵为 \begin{equation} H(P)=-\sum\l 阅读全文
摘要：
概率无向图模型 又称马尔可夫随机场(Markov random field)或马尔可夫网络，是一个由无向图表示的联合概率分布。 图是由结点和边组成，无向图中的边没有方向。概率无向图中结点表示随机变量，边表示结点之间的概率依赖关系。 成对马尔可夫性： 设u和v是无向图G中任意两个没有连接边的结点，对应 阅读全文