摘要：
信息熵： 信源所含有的信息量称为信息熵，定义为信源发出的所有可能消息的平均不确定性，为自信息的统计平均。（自信息：某个消息X出现的不确定性的大小） 含义：①信源的平均不确定性的大小②信源输出消息平均所含的信息量 联合熵： 二维随机变量XY的联合熵定义为联合自信息的数学期望，表征XY的不确定性 条件熵 阅读全文
摘要：
似然与概率分别是针对不同内容的估计和近似。 概率(密度)表达了给定θ下样本随机向量X = x 的可能性，而似然表达了给定样本X = x 下参数θ = θ1 (相对于另外的参数取值θ2)为真实值的可能性. 换言之, 似然函数的形式是L ( θ ∣ x ) ,其中"|"代表的是条件概率或者条件分布,因此 阅读全文
