非常重要：
逻辑归回模型与最大熵模型的等价性：逻辑回归模型，本质上就是一个最大熵模型
最大熵模型，是基于最大熵原理的判别模型
最大熵原理，在满足约束条件的情况下，选择熵最大的模型
1概率图模型分类
1.1有向图模型
1.1.1静态贝叶斯网络
1.1.2动态贝叶斯网络
1.1.2.1隐马尔科夫模型：用于语音识别、汉语自动分词、词性标注、统计机器翻译
1.1.2.2卡尔曼滤波器：用于信号处理
1.2无向图模型
1.2.1马尔科夫网络：马尔科夫随机场
1.2.1.1吉布斯/玻尔兹曼机：依存句法分析、语义角色标注
1.2.1.2条件随机场：用于序列标注、特征选择、机器翻译
2、贝叶斯网络
3、马尔科夫网络
3.1、与贝叶斯网络区别：可以表达贝叶斯网络无法表达的关系；无法表达贝叶斯网络可以表达的推导关系
3.2、由无向图和图上的似函数构成
3.3、最大团和团势能函数（RBM中就有，BM本身也是一个概率图模型）
3.4、无向图上的联合概率密度函数，是最大团上势能函数的乘积（归一化）
4、MEMM
4.1、HMM的问题：
1）很多标记任务中，观测值不能枚举，需要用特征来刻画序列，比如一个未见过的公司名称；也就是说，需要用特征对观察序列参数化。
2）在很多NLP任务中，需要求解已知观察序列下的状态序列，HMM使用状态序列和观察序列的联合概率P（S,O）来求解P(S|O)，
这种情形不适合使用很多观察特征描述观察序列的情况。
MEMM直接求解P(S|O)
如果发现文中有问题，敬请联系作者批评指正，真诚欢迎您的指教，谢谢！
微信: legelsr0808
邮箱: legelsr0808@163.com
