信息论中的信息量
http://blog.csdn.net/freegodlee/archive/2009/04/25/4122129.aspx
信息论中的信息量
通 信的目的是什么呢？沟通感情，活跃气氛？其实，它是在于传递信息。那么，什么是信息呢？是不是交流中所有的消息都是信息？我们经常可以看到很多政客在台上 发言，洋洋洒洒，一说几小时。可回头一琢磨，好像什么也没说，也就是信息量基本为零。所以信息可以被理解为消息中包含的有意义的内容，而不是所有内容。不 同形式的消息，可以包含相同的信息。比方说，分别用语音和文字发送的天气预报，所含信息内容是相同的。如同运输货物可以采用“货运量”来衡量一样，传输信 息的多少也是可以用“信息量”来衡量的。我们知道，消息是多种多样的。因此衡量消息中所含的信息量的方法，必须可以忽略消息的种类，衡量任何消息的信息量。而且，消息中所含信息量的多少也应该同消息的重要程度无关。这样，要求有了，我们该怎么办呢？
首 先，让我们先看看消息的传递有什么特性。我们都知道，在一切有意义的通信中，虽然消息的传递意味着信息的传递，但是，对于接收者来说，某些消息要比另外一 些消息含有更多的信息。比如说，有人告诉你两件事：1）阿woo中到1000万元的乐透大奖了（哈哈，真是今夜做梦也会笑）；2）一直在改又要改版了。 这样后一消息包含的信息显然要比前者少很多。因为在接收者看来，后一件事很可能发生，不足为奇，但前一件事却极难发生（谁说的，昨晚就发生了，虽然是在我 的梦里），听后让人大吃一惊。这样我们看出消息确实有量值的意义。而且，我们可以看出，对于接收者而言，事件越不可能，越是让人感到意外和惊奇，信息量就 越大。所以现在很多人在写文章时，首先要选用一个耸人听闻的题目，先吸引大家的眼球。
这个特性可以同什么联系起来呢？对，就是概率。概率 论告诉我们，事件的不确定程度，可以用其出现的概率来描述，也就是说，事件出现的可能性越小，则概率越小；反之，则概率就越大。这样，我们得出一个结论， 消息中的信息量与消息发生的概率紧密相关，消息中所含的信息量I是出现该消息的概率P(x)的函数。消息出现的概率越小，则消息中包含的信息量就越大。如 果事件是必然的（概率为1），那么它传递的信息量就应该为零。如果事件是不可能的（概率为0），那么它有无穷的信息量。而且当我们得到一个不是由一个事件 构成而是由若干个独立事件构成的消息，那么这时我们得到的总的信息量，就是若干个独立事件的信息的总和。
这样，我们可以得到I与P(x)间的关系式：I = - log a P(x)
信息量的单位的确定取决于上式中对数底a的确定。如果取对数的底a=2，则信息量的单位为比特(bit); 如果取e为对数的底，则信息量的单位为奈特(nit)；若取10为底，则为哈莱特。
