week1

概率图

概率图模型是用图来表示变量概率依赖关系的理论，结合了概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。

一.概率论基础

1.条件概率

当事件B发生的情况下，事件A发生的概率。

2.全概率公式

设试验E的样本空间为S，A为E的事件，B1，B2，... ,Bi为S的一个划分，且P(Bi)>0 (i=1,2,3,...)

3.贝叶斯公式

当A发生，求在Bi发生情况下发生的概率。

4. 乘法法则

事件a，b同时发生的概率

5.链式法则

即乘法法则推广到多个事件的情况

6.先验概率和后验概率

先验概率：又以往的数据分析所得到的概率。
后验概率：在得到已知信息之后再加以修正的概率。

7.条件独立性

XA、XB、XC是三个互无交集的集合，给定任一个集合的情况下，另外两个集合相互独立，举个栗子，XA⊥XB|XC。

二.贝叶斯网络

1.介绍

把某个研究系统中设计的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。
贝叶斯网络，又称有向无环图模型，是一种概率图模型，根据概率图的拓扑结构，考察一组随机变量{X1,X2,...Xn}及其n组条件概率分布的性质。
一般而言，贝叶斯网络中的有向无环图的节点表示随机变量，它们可以是可观测到的变量，或隐变量、未知参数等。链接两个节点的箭头代表此两个随机变量是非条件独立的，两个节点会产生一个条件概率值。

一个贝叶斯网络的例子：

一种特殊的贝叶斯网络：马尔科夫模型

结点形成一条链式网络。

朴素贝叶斯

假设所有的事例都属于若干两两互斥且报刊所有事例情况的类中的一个。比如，学生的智商$I$，存在事例的两个类——高智商和低智商。 除此之外，模型还包括一定数量的、可以观测到其值的特征（features） X1,X2,....,Xn 。朴素贝叶斯假设（naive Bayes assumption）是在给定事例的类的条件下，这些特征条件独立。

基于上述独立性假设，模型的因子分解可以表示为：

2.一个重要概念：因子分解

p(x1,x2,…,xp)=Πi=[1,p] p(xi|xpa(i))，xpa(i)指xi的父结点集合。

（根据因子分解便可根据图得出对应的条件独立性！！！）

3.任何复杂的图都可以拆成下列三种局部结构：

1）tail-to-tail型

若a被观测，则b到c的路径便被堵死，即b和c就独立了。

2）head-to-tail型

若b被观测，则路径阻塞，a与c独立！

3）head-to-head型

在c未知的情况下，a与b是独立的。

可以通过以上结构来从图判断独立性！

4.将上述结构体推广到结点集——D-Separation（有向分离：D划分）

对于任意的结点集A、B、C，若考察所有通过A中任意结点到B中任意结点的路径，若要求A、B条件独立，则需所有的路径被阻断，即满足下列2个前提之一:

1. A和B的“head-to-tail”型和“tail-to-tail”型路径都通过C
2. A和B的“head-to-head”型不通过C及C的子孙

一个D-Separation的例子：