摘要： 信源的熵 自信息 如何度量你获得的信息量的大小，比如有人告诉你某个地方地震了，那么这个信息量对你来说比较大，因为地震不是经常发生；如果有人告诉你某个地方有雾霾，这个信息量就比较小，因为有雾霾这个事情很常见。 通过这个例子，我们可以知道，信息量的大小应该与某件事情发生的概率有关，这件事情发生的概率越低 阅读全文