Factor Graph因子图

Factor Graph 是概率图的一种，概率图有很多种，最常见的就是Bayesian Network (贝叶斯网络)和Markov Random Fields(马尔可夫随机场)。在概率图中，求某个变量的边缘分布是常见的问题。这问题有很多求解方法，其中之一就是可以把Bayesian Network和Markov Random Fields 转换成Facor Graph，然后用sum-product算法求解。

基于Factor Graph可以用sum-product算法可以高效的求各个变量的边缘分布。

sum-product算法，也叫belief propagation，有两种消息，一种是变量(Variable)到函数(Function)的消息(就是方块到圆的消息)：m：x→f，另外一种是函数(Function)到变量(Variable)的消息：m：f→x

值得一提的是：如果因子图是无环的，则一定可以准确的求出任意一个变量的边缘分布，如果是有环的，则无法用sum-product算法准确求出来边缘分布。

比如，下图所示的贝叶斯网络：

其转换成因子图后，为：

可以发现，若贝叶斯网络中存在“环”（无向），则因此构造的因子图会得到环。而使用消息传递的思想，这个消息将无限传输下去，不利于概率计算。

解决方法有3个：

1、删除贝叶斯网络中的若干条边，使得它不含有无向环

比如给定下图中左边部分所示的原贝叶斯网络，可以通过去掉C和E之间的边，使得它重新变成有向无环图，从而成为图中右边部分的近似树结构，具体变换的过程为最大权生成树算法MSWT，通过此算法，这课树的近似联合概率P'(x)和原贝叶斯网络的联合概率P(x)的相对熵。

2、重新构造没有环的贝叶斯网络
3、选择loopy belief propagation算法（可以简单理解为sum-product 算法的递归版本），此算法一般选择环中的某个消息，随机赋个初值，然后用sum-product算法，迭代下去，因为有环，一定会到达刚才赋初值的那个消息，然后更新那个消息，继续迭代，直到没有消息再改变为止。唯一的缺点是不确保收敛，当然，此算法在绝大多数情况下是收敛的。