信息熵是什么
熵是物理学中的概念,是指系统混沌状态的一种量化指标。熵的大小与系统混沌程度正相关,也就是系统越混沌,熵值越大,反之,亦然。
信息熵
表征信息不确性的指标。与信息的不确定性相关,信息熵越大,信息的不确定性越大。
信息熵是怎么计算的?
涉及到信息论的内容,也就是信息编码问题。信息要全部表示完,共需多少个编码?或者说需要个二进制位数。
香农给出了理论也就是:
\[L(x)=log_2(1/p(x))\]
L表示所需要的二进制位,p(x)表示发生的概率。
通过此公式,可以计算出某种概率的结果所需要的二进制位。
知道了二进制位数,那么信息的平均编码长度是多少呢
\[H(x) = \sum_{x}(p(x)*L(x))\]
也就是最优的编码长度。
参考文献
作者:khldragon
出处:http://www.cnblogs.com/khldragon/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
俗话说,投资效率是最成功的投资。 如果您感觉我的文章质量不错,读后收获很大,感觉能为您提高 10% 的工作效率,不妨小额【赞助】我一下,让我有动力继续写出更多好文章。