MRF马尔科夫随机场

Hinton和Ranzato最新的文章http://www.cs.toronto.edu/~vmnih/docs/ranzato_pami13.pdf中用到了MRF马尔科夫随机场。

一篇博客http://blog.csdn.net/polly_yang/article/details/9716591

无向图模型（undirected graphical model），又可称为马尔可夫随机场（Markov random field），是一个可以由无向图表示的联合概率分布。

设有联合概率分布\(P(X)\)，\(X \subset \mathcal{X}\)是一组随机变量，由无向图\(G = (V,E)\)表示，即在图\(G\)中，结点\(v \in V\)表示随机变量\(x_v\)，\(X = \{x_v\}_{v \in V}\)，边\(e \in E\)表示随机变量之间的依赖关系。下面定义无向图表示的随机变量之间存在的成对马尔可夫性（pairwise Markov property）、局部马尔可夫性（local Markov property）和全局马尔可夫性（global Markov property）。

成对马尔可夫性：设\(u\)和\(v\)是无向图\(G\)中任意两个没有边连接的结点，分别对应随机变量\(x_u\)和\(x_v\)。其他所有结点记为\(O\)，对应随机变量组\(x_O\)。成对马尔可夫性是指给定\(x_O\)的条件下，随机变量\(x_u\)和\(x_v\)是条件独立的，即
[
P(x_u, x_v | x_O) = P(x_u | x_O)P(x_v|x_O)
]

局部马尔可夫性：设\(v \in V\)是无向图\(G\)中任意一个结点，\(W\)是与\(v\)由边连接的所有结点，\(O\)是\(v,W\)以外的所有结点，\(v\)表示随机变量\(x_v\)，\(W\)表示随机变量组\(X_W\)，\(O\)表示随机变量组\(X_O\)。局部马尔可夫性是指在给定随机变量组\(x_W\)的条件下，随机变量\(x_v\)与随机变量组\(x_O\)是条件独立的，即
[
P(x_v,x_O|x_W) = P(x_v|x_W)P(x_O|x_W)
]
在\(P(x_O|x_W) > 0\)时，等价的，
[
P(x_v|x_W) = P(x_v|x_W,x_O)
]

全局马尔可夫性：设结点集合\(A\)、\(B\)是在无向图\(G\)中被结点集合\(C\)分开的任意点集合，\(A\)、\(B\)和\(C\)分别对应随机变量组\(x_A\)、\(x_B\) 和\(x_C\)。全局马尔可夫性是指给定随机变量组\(x_C\)的条件下，随机变量组\(x_A\)和\(x_B\)是条件独立的，即
[
P(x_A,x_B|x_C) = P(x_A|x_C)P(x_B|x_C)
]

上述成对的、局部的、全局的马尔可夫性定义是等价的。\cite{book:LH}

限制玻尔兹曼机（Restricted Boltzmann Machine）是一种关于可视层\(v\)和隐藏层\(h\)的，成对的马尔可夫随机场。它定义的联合分布满足
[
P(h,v|\theta) = \frac{1}{Z(\theta)} \prod_{i=1}^I \prod_{j=1}^J \psi_{ij}(v_i, h_j ; \theta)
]