Fall12

摘要： 以下内容基本来自于《统计自然语言处理》： 熵又称为自信息（self-information），可以视为描述一个随机变量 的不确定性的数量。它表示信源X每发一个符号（不论发什么符号）所 提供的平均信息量［姜丹，2001］。一个随机变量的熵越大，它的不确 定性越大，那么，正确估计其值的可能性就越小。越不 阅读全文