不矜不伐的小学生

摘要： 信息是一个很抽象的东西，吃苹果的概率是二分之一，吃香蕉的概率是二分之一，这里面包含了多少信息量，由于信息很抽象，无法直观的量化。 　　信息熵原先是热力学中的名词，原先含义是表示分子状态的混乱程度。 　　香农引用了信息熵概念，因此，便有了信息论这一门学科，信息熵表示一个事件或者变量的混乱程度（也可称为一个事件的不确定性），将信息变成可以量化的变量。 阅读全文