信息熵通俗解释

信息熵通俗解释

一、总结

一句话总结：

【不确定性叫做熵】：当一件事情（宏观态）有多种可能情况（微观态）时，这件事情（宏观态）对某人（观察者）而言具体是哪种情况（微观态）的不确定性叫做熵（entropy）

【消除不确定性的叫信息】：而能够消除该人做这件事情（宏观态）不确定性的事物叫做信息

【熵和信息数量相等，意义相反，获取信息意味着消除不确定性（熵）】

 

1、信息论中宏观态和微观态 具体举例？

比如：当小明不会某道数学选择题时（正确答案是C），【正确答案（宏观态）是A，B，C，D哪个选项（4个微观态）的不确定性就是熵】

【这里，正确答案也叫宏观态，而每个可能选项叫做微观态】

【宏观态（macrostate）是不考虑内部细节的状态，而微观态（microstate）是考虑具体细节的状态】

比如，【生物是宏观态，动物和植物都是生物这个宏观态的一种微观态】

 

 

2、概率和熵的区别在于？

【概率是确定性】：概率是某件事情（宏观态）某个可能情况（微观态）的确定性

【熵是不确定性】：而熵是某人对某件事情（宏观态）到底是哪个情况（微观态）的不确定性

最为重要的一点是，【信息描述的是一个观察者确定一个宏观态是哪个微观态时需要的物理量】，所以信息是相对的

 

 

3、小红会这道题，不管告不告诉小红正确答案是C，小红对这道题的熵都为0 bit？

因为观察者已经拥有这件事情的所有信息，【不确定性从最初就不存在】

 

 

4、信息的熵是对具体对象而言的？

“明天的太阳东边升起”这句话，对知道的人而言，提供了0 bit 信息

对知道或东或西升起的人而言，提供了1bit 信息

对觉得东南西北都有可能的人而言，提供了2bits信息

 

5、如何测量信息量？

【待测事件的不确定性相当于“多少个”参照事件的不确定性】：当想要测量其他事件的信息时，就看看待测事件的不确定性相当于“多少个”参照事件的不确定性，这里的“多少个”便是信息量，当选择的参照事件是像抛硬币这样，只有两种等概率情况的事件时，测得的信息量的单位就被称为比特（bit）

【测量质量这个物理量是除法】：然而测量质量时，我们是用待测物体的质量除以参照物体的质量，因为待测物体的质量m等于参照物体的质量B乘以参照物体个数n，所以当知道总质量m要求个数n时，我们用乘法的反函数，即除法来计算

【指数关系】：可是测量信息时，却不能用除法，因为抛掷3个硬币能够产生的等可能结果并非3*2=6，而是2^3=8种，也就是说，不是线性关系，而是指数关系

【4个不确定情况ABCD就相当于2个硬币抛出的不确定性，就是2bit】：所以当知道可能情况的个数m，想求这些情况相当于多少个n参照事件所产生的时，用指数运算的反函数，即对数运算来计算，这样8个不确定情况就相当于3个硬币抛出的结果，4个不确定情况就相当于2个硬币抛出的不确定性，就是2bit，所以小明对答案是ABCD里哪一选项的不确定性是log4=2 bits，但这里有个前提，那就是被测事件的所有可能情况都必须是等概率才行，因为参照事件本身的两种情况就是等概率

 

 

二、信息熵通俗解释

博客对应课程的视频位置：

 

就是对知乎的这个高赞回答做了总结

信息熵是什么？ - 知乎
https://www.zhihu.com/question/22178202