概率图模型:原理与技术-4 马尔科夫网络 MRF

案例入门

没有一种有向图可以表达上面的关系，所以这时候就需要用无向图来表示

基本概念

\(\color{red}{因子,或者叫势函数}\)
\(\color{red}{辖域/scope}\)

因子的表示

输入是一个随机变量具体的值输出是对应的可能情况,这说明因子就是没有归一化的概率密度函数/概率质量函数!
\(\color{red}{因子分解}\)
\(\color{red}{配分函数}\)
注意，这里的P(a,b,c,d)不是公式，不具有通用性，只是针对四学生的案例推导的，看下面这个因子分解对应的独立性说明

归一化常数，说白了就是联合分布的所有可能性情况总和

有了归一化常数后，就可以做因式分解得到联合分布
\(在这个表里面，既可以求边缘概率，P(b^0)\approx 0.268,P(b^1)\approx 0.732,也可以求条件概率 P(b^1|c^0)\approx 0.06 (把所有c^0的行先拿出来，在分布统计b^1,b^0的概率)\)

因子分解和独立性的关系

解题过程待补充吧。。。。

四学生问题中因子分解和独立性的说明

表示方式

因子的一些说明

MRF是无向图，没法像贝叶斯网络那样使用CPD(条件概率分布)去表示
一个因子既包含了联合分布的概念，也包含了CPD的概念
MRF是无向的，所以表示也应该是无向的，参数化也应该是无向的

\(\color{red}{因子积}\)

吉布斯分布

这个例子很不错,4.1,4.2两个图得到了截然不同的答案，是因为4.2受到了外力(其他因子)的影响

此处插入了B站白板推导UP主的视频内容，不然真心看不懂

MRF的全局马尔科夫性

\(x_A \perp x_C | x_B , A,C之间只有B连接\)

MRF的局部马尔科夫性

\(a节点在给定邻居节点的情况下，和其他节点(非邻居节点)都是独立的\)
\(相当于观测变量把a都包围了，那么a和外界隔绝了\)
\(a \perp \{全集-a -Nb_a\}|Nb_a\)

MRF的成对马尔科夫性

\(x_i\perp x_j |x_{全集-i-j},i,j不相邻\)

上面三个MRF的马尔科夫性不是独立的，是相互等价的

MRF的因子分解

因子分解要体现条件独立性，也就是满足上面三种马尔科夫性的节点不应该放在一个因子里面
引入团的概念

团,最大团

一个节点的集合，集合中的任意两个节点是互相连接的

这时候
\(\color{red}{MRF的因子分解为}\)
\(P(x)=\frac{1}{Z}\sum\limits_{i=1}^{K}\phi(x_{c_i}),x_{c_i} 对应一个团\)
\(归一化因子Z=\sum_{x_i}\prod\limits_{i=1}^{K}\phi(x_{c_i})=\sum_{x_1} ... \sum_{x_p}\prod\limits_{i=1}^{K}\phi(x_{c_i})\)

基于最大图案的因子分解的证明-Hammersley-Clifford定理
\(\color{red}{重点来了!!!}\)
\(一般因子/势函数定义为指数族分布exp{-E(x_{c_i})},-E(x_{c_i})称为能量函数\)
\(当因子/势函数按照上面这种定义后，P(x)称为吉布斯分布或者\color{red}{玻尔兹曼分布}\)
真兴奋啊，看到玻尔兹曼了
这块的知识都是来自于统计物理学
\(最后结论,P(x)就是一个指数族分布\)
\(\color{red}{MRF等价于吉布斯分布}\)