摘要：
在信息论中，熵表示的是平均不确定性的量度。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。熵在信息论中的定义如下：如果有一个系统内存在多个事件, 每个事件的机率分布，则每个事件本身提供的信息量为称为自信息。（若对数函数以2... 阅读全文
摘要：
转自：http://www.ruanyifeng.com/blog/2013/04/entropy.html1：根据热力学第一定律，能量是守恒的，可以互相转化（比如机械能转化为电能），而不会消失。热力学第二定律进一步指出，虽然能量可以转化，但是无法100%利用。在转化过程中，总是有一部分能量会被浪费... 阅读全文