2020年5月9日
熵，条件熵，相对熵，互信息的相关定义及公式推导
摘要： 熵，条件熵，相对熵，互信息的相关定义及公式推导 熵是随机变量不确定性的度量，不确定性越大，熵值越大，若随机变量退化成定值，熵为0，均匀分布是最不确定的分布。熵其实定义了一个函数(概率分布函数)到一个值(信息熵)的映射。熵的定义公式如下： 在经典熵的定义中，底数是2，此时熵的单位是bit，若底数是e， 阅读全文
posted @ 2020-05-09 19:58 Baby-Lily 阅读(9123) 评论(1) 推荐(2) 编辑