信息论——信息不等式、数据处理不等式、信息图、Fano不等式笔记

1.相关概念及关系：

(1)

 

 

 

  (2)相对熵 D（ p | | q ）:在p的概率分布下q比p多的信息量（个人理解）

 

（3）条件互信息量 I( X ; Y|Z ) : I( X ; Y|Z ) = H( X|Z )-H( X|Y,Z ).     理解：Y｜Z是Y比Z多的信息量

  (4) 垂直符号：独立

 

2.链式法则：

 

3.Markov Chain(三元)

Markov Chain：某一时刻的信息只与其前若干时刻有关。

对 X->Y->Z:

性质1:X，Z相对于Y独立；

性质2:反过来的Z->Y->X也是Markov Chain

性质3:若Z=f（Y），则 X->Y->Z是Markov Chain

性质4: I( X ; Z|Y )=0

        I(X ; Y|Z)<I(X ;Y)

　　　注意：I(X ; Y|Z)<I(X ;Y)并不是恒成立，我不理解。。。

 

4.数据处理不等式：对Markov Chain X->Y->Z，I(X;Y）>= H(X;Z).   理解：数据处理的越多，丢失的信息越多

　　　　　　　　                                      ->I(X;Y）>= H(X;g(Y))

 

5.fano不等式

 

 

理解：错误趋于0时，可以从现象恢复出本质

 

*.救命