[PGM] Bayes Network and Conditional Independence

2 - 1 - Semantics & Factorization

2 - 2 - Reasoning Patterns

2 - 3 - Flow of Probabilistic Influence

2 - 4 - Conditional Independence

2 - 5 - Independencies in Bayesian Networks

2 - 6 - Naive Bayes

2 - 7 - Application Medical Diagnosis

2 - 8 - Knowledge Engineering Example-SAMIAM

 

感觉棒棒哒! Professor Daphne Koller

---

 

Chain Rule for Bayesian Networks

 

Calculate joint conditional probability

以下的过程，尤其是概率和为1这一点，对应上图中的某个node的table的一行。

 

Intercausal reasoning 

其实就是先验后验推断的东西。

 

When can X influence Y?

理性的理解需要建立在一定的贝叶斯统计基础，如下：

Grade --> Difficulty，平均分高，则难度低。

Grade <-- Difficulty，难度低，则平均分高。

Difficulty --> Grade --> Letter，试题难度对Letter如何影响？

Difficulty <-- Grade <-- Letter，试题难度对Letter如何影响？

　　Grade通过后验作用于Difficulty；

　　Grade通过先验作用于Letter；

　　如果Grade确定，先验后验分布各自确定，俩分布当然独立。

　　如果Grade未确定，Difficulty的先验（Grade）会受到其先验（Letter）的影响。

Grade <-- Intelligence --> SAT，显而易见的影响关系。

　　作为两个分布的先验，

　　如果已知，俩分布当然各自独立；

　　如果未知，其中一个node的数据反推到的后验参数，自然会影响另一个分布。

Difficulty --> Grade <-- Intelligence，共同条件分布，V-structure。　　

　　　　　　如果已知，数据是由两个参数作用的，当然相互见有影响，例如：

• • • • 参数1小一点，参数2大一点，可能也会是相同的data。

　　　　　　如果未知，两个参数的分布自然没什么关系。

 

实践：S - I - G - D, S 是否会影响 D?

如果I 已知，block，不能。

如果I 未知，G未知，block，不能。

如果I 未知，G已知，可以。 

注：这是快捷的判断方式，针对局部简单的情况。

 

Conditional Independence

Notice: 思考是否受到了共同先验的影响。

举个例子：两个coin，1）正常的 2）不正常的0.9 vs 0.1

若已知上述信息，那么X₁ X₂ 表示的“上” “下” 面就可直接确定。

若未知上述信息，那么X₁ X₂ 表示的“上” “下” 面，比如：猜测下一次正面的概率，就会受到已知“数据”的影响。

具体地讲：已知两次投掷都是正面，是否更偏向于coin is biased？这边不独立了呢。

 

D-separation

X与Y是D分离的 given Z。

表示：d-sep(X,Y|Z)

本质就是先验后验相互影响。

好文一读：d-separation: How to determine which variables are independent in a Bayes net

注：这是系统的方法，针对复杂情况。

1. “Ancestral graph": this is a reduced version of the original net, 即只考虑长辈。
2. "Moralize":  伴侣两两连线。
3. “Disorient": 转为无向图。
4. “Delete the given and their edges"：去除条件部分。

解读结果：

• 不连接，则独立。
• 若连接，不独立。
• If one or both of the variables are missing (because they were givens, and weretherefore deleted), they are independent.

 

两个经典例子，共赏

 

附加题

P(D|CEG) =? P(D|C)

Are D and E conditionally independent, given C? AND
Are D and G conditionally independent, given C?

可见，将EG对D的影响，转化为了两个独立问题。俩问题都满足，才是相等。

 

I-maps

独立图，什么东东？ (后续章节有专题)

P满足与图G相关的局部独立性，那么图G是P的一个I-map，P可能有多个I-map。

If P factorizes over G, then G is an I-map for P.

 

G₁ is an I-map for P₁.

G₂ is an I-map for P₁ and P₂

• I-map的因子分解

Theorem: If G is an I-map for P, then P factorizes over G.

• 最小I-map 

/*...*/ 

 

CPCS Network

了解大规模BN的一些问题和重难点。

Ref: https://dslpitt.org/uai/papers/94/p484-pradhan.pdf

Ref: http://www.cs.cmu.edu/afs/cs/project/jair/pub/volume13/cheng00a-html/node15.html

The main network used in our tests is a subset of the CPCS (Computer-based Patient Case Study) model [Pradhan et al.1994], a large multiply-connected multi-layer network consisting of 422 multi-valued nodes and covering a subset of the domain of internal medicine.

Among the 422 nodes,

14 nodes describe diseases,  显眼的特征

33 nodes describe history and risk factors, and 相关指标特征

the remaining 375 nodes describe various findings related to the diseases. 不显眼的特征

To avoid complete table representation, 毕竟没人喜欢处理全连接网。

 

Knowledge Engineering Example

Samiam Download: http://reasoning.cs.ucla.edu/samiam/index.php?s=