摘要： 第二章 数学基础 概率论基础信息论基础： 熵、联合熵、相对熵、困惑度、互信息、噪声信道模型 熵又称为自信息，表示信息X每发出一个符号（不论发什么符号）所提供的平均信息量。熵也可以被视为描述一个随机变量的不确定性的数量。一个随机变量的熵越大，它的不确定性越大。那么， 正确估计其值的可能性就越小。越不确 阅读全文