摘要：
MRF 笔记我们先讨论引入 MRF 的必要性。经典的例子就是四个 r.v.s 连成一个正方形的结构的时候，我们没法通过 BN 获得给定对角线两个 r.v.s 而剩下的条件独立（不都是 d-sep），反过来如果希望通过 MRF 刻画某些 BN 也是不可行的，经典的例子就是 inter-causal r... 阅读全文
摘要：
有个比较有意思的想法是编码理论的反问题是 machine learning，这也是这部分学习的一个收获。这个其实很奇怪，编码理论其实是有 ground truth 的，然后通过编码产生“冗余”，这样才能通过含有噪声的信道后仍然能够被正确的解码（比较好的是相关的理论上界和最优编码已经非常接近了），这个... 阅读全文
摘要：
和 Koller 的 video 最大的不同莫过于书上讲 LBP 的角度不是 procedural 的，而是原理性的。我们先看个 procedural 的，在一般的 cluster graph 上的 BP 改进版即 loopy belief propagation 先将所有的 message 初始化... 阅读全文
摘要：
前面的近似策略是寻找了 energy functional 的近似，该近似导致了 LBP，这使得 message passing 的算法不变。近似使用 I-projection，尽管这个一般说来并不容易得到解，但是给出了 partition function 的下界。这部分我们讨论的第一个策略是尽量... 阅读全文
摘要：
这部分 cover 两个比较特殊的情形，一个是 Gaussian networks，一个是 exponential family。正态分布常见的参数化策略是均值 和协方差矩阵 ，另一种是使用 information matrix/precision matrix，即 ，另可以用所谓 potenti... 阅读全文
摘要：
这部分讨论 MAP 估计。从某个角度上来说，我们可以将这个问题转换成为前面讨论过的：这样一来我们只需要将原先的 sum-product 换成 max-sum 即可。话虽这么说，我们还是看看 Koller 同学给大家准备了些什么东西。首先是一些复杂性方面的结论，如给定一个 BN 和常数 ，问是否存在 ... 阅读全文
摘要：
这部分介绍 sampling 方法，书上也称为 particle-based method，这是因为每一个从分布中采集到的样本可以看成是一个 particle（instantiation of r.v.），而我们的 inference 借助了 particles。比较简单的问题就是 forward ... 阅读全文
摘要：
这部分讨论 inference 里面基本的问题，即计算 这类 query，这一般可以认为等价于计算 ，因为我们只需要重新 normalize 一下关于 的分布就得到了需要的值，特别是像 MAP 这类 query（一般此时 是 的补集，可以理解成为取 只需要将这里一些 sum 换成 max ... 阅读全文
摘要：
这部分主要讨论了一些概念性的东西。一个是常用的 local probabilistic models，一个是如何用 template-based representation。这部分主要是一些概念，特别是对 BN 在某些特殊场所下 d-sep 概念的推广。这里需要区分一点的是 context 与“给... 阅读全文
摘要：
很遗憾前面只看过 Michael Jordan 写的一部分，这次打算把 Daphne Koller 和 Nir Friedman 合著的 Probabilistic Graphical Models: Principles and Techniques 好好过一遍。作者认为与通常写一个 specif... 阅读全文