概率图知识学习笔记（一）

目的

打算认认真真地将学习中的笔记在博客园中记录一下，刚好也学习了Markdown感觉真的不错。

学习内容

机器学习大神Michael I.Jordan的《An INTRODUCTION TO GRAPHICAL MODELS》，这是一篇综述性、基础性的文章，建议学习概率图的童鞋们认真拜读以下。

学习方法

先进行翻译
针对每一章写出个人心得体会

图模型

图模型是图论与概率论的有机融合
图模型阐述了神经网络与HMMs、MRFs及Kalman滤波等基于网络的模型的关系。

图模型的若干优点

推断和学习可以等同对待
监督学习与无监督学习的无缝结合
可以较好地处理数据缺失问题
关注于条件独立性和可计算性问题
解释性强

图模型的种类

主要有两种图模型一种是有向图，另一种是无向图。

图模型的若干变种

. 信念网络
. 贝叶斯网络
. 概率独立网络
. 马尔科夫随机场
. 对数线性模型
. 影响图

图模型的学习与推断

. 如果可以从模型中推断出来就不必再进行额外的学习
. 网络中的权重是关于邻居节点间的局部性指标
. 推断算法将上述局部性指标转化为全局性指标
. 上述步骤是通过与整个网络的联合概率分布得到的

有向图模型-基础

. 图模型是一个有向无环图(DAG),其中图中的每一个点对一个随机变量（可以是标量，也可以是矢量）

. 不必事先指定节点属于输入、输出或者隐藏类型。
. 我们可以使用一个概率分布[P(A,B,C,D,E,F)]来描述上图,然后所有的计算都基于该分布。
例如： [P(F|A,B) = \frac{{\sum\nolimits_C {\sum\nolimits_D {\sum\nolimits_E {P(A,B,C,D,E,F)} } } }}{{\sum\nolimits_C {\sum\nolimits_D {\sum\nolimits_E {\sum\nolimits_F {P(A,B,C,D,E,F)} } } } }}]