信息论——信息的度量
信息的度量
信息具可度量性,其大小取决于信息所消除的不确定性
举例如下:
消息A:中国女子乒乓球队夺取亚运会冠军。
消息B:中国男子足球队夺取世界杯赛冠军。
从事件的描述上来看,其主题内容大致相同,那么我们是否可以认为事件A和事件B具有相同的信息量呢?显然是不行的。根据以往经验,我们可以认为事件A是一个大概率事件,所以事件A的不确定性比较小,故当事件A发生时,我们从这个消息中得到的信息(消除的不确定度)很小。同理对事件B而言,由于是个极小概率事件,我们得到的信息很大。由此我们可以推断:消息B的信息量大于消息A。
对于一个事件X,我们假设其不确定性为 I(p1) ,其中 p1 是事件X的先验概率。
对应于事件X的消息X所消除的不确定性为 I(p2)。
那么在我们获取了消息X之后,事件X的不确定性就变为了 I(p1)-I(p2) ,由此我们可以知道当我们对一个事物的信息获取的越多,其不确定性就越小,当其不确定性变为0时,该事件就被确定下来了,我们对其无法再获取更多的信息量了。
直观定义:
收到某消息获取的信息量=不确定性减少量=收到该消息前后某事件的不确定性差
信息量的数学表示
理论依据(信息量具有的性质):
1.非负性 对于一个事件而言,当事件被完全确定时,即我们无法获取更多信息时,其信息量为0,因此无法比0更小。
2.单调性 是先验概率的单调递减函数,即某事件的发生概率越大,其信息量就越小。
3.对于事件A 若 P(a)=0 则 I(Pa)=+∞ 若 P(a)=1 则 I(Pa)=0。
4.两个独立事件的联合信息量应等于它们分别的信息量之和。
I(xi)具有两个含义:
1.事件发生前,表示该事件发生的不确定性。
2.事件发生后,表示该事件所提供的信息量。
术语解释
先验概率(prior probability)是指根据以往经验和分析得到的概率。