信息论笔记

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 描述一段序列的信息量

 

 

 

自信息单个信息

信源熵 表示信道信息的多少

 

 

不确定性就是信息量

当拿到输出看输入是什么，是求条件概率

 

输入bj  ，输入是不是ai？

自信息，因为已经是输入bj  ，多了一个条件

已知bj 推测ai出现的不确定性  因为只有一个 bj让你猜，所以P（bj）等于1

 

如果有多个bi  i从0到n

则有

 

 最后因为 aj也是不确定的

 

 

 以上推导 是求整体属性，统计评价的角度来分析

 是一种条件熵

关于输入与输出

 

已知输出求输入

描述输入与输出的不确定性，不确定就是怀疑