摘要： 从熵（Entropy）开始说起，熵最初是一个物理学概念，后来在数学中用来描述“一个系统的混乱程度”，因此一个系统的信息熵越高就越无序，信息熵越低就越有序，信息熵越高，使其有序所要消耗的信息量就越大。我们的目的就是将系统变得有序并找出确定的信息假设变量 ，其中每个元素对应的概率（比例）为 ，则对应熵的 阅读全文