摘要：
热力学统计物理中有熵增加原理，在信息论中也有对应的关于信息熵的著名定理――最大信息熵原理。在很多情况下，对一些随机事件，我们并不了解其概率分布，所掌握的只是与随机事件有关的一个或几个随机变量的平均值。例如，我们只知道一个班的学生考试成绩有三个分数档：80分、90分、100分，且已知平均成绩为90分。显然在这种情况下，三种分数档的概率分布并不是唯一的。因为在下列已知条件限制下（平均成绩）（概率归一化条件）有无限多组解，该选哪一组解呢？即如何从这些相容的分布中挑选出“最佳的”、“最合理”的分布来呢？这个挑选标准就是最大信息熵原理。按最大信息熵原理，我们从全部相容的分布中挑选这样的分布，它是在某些约 阅读全文