信息熵

感性认识：
熵，即混乱程度，越大表示信息越不确定，越小越确定，如太阳东边升起，对于知道这个信息的人来说，信息熵是0；

计算公式：
H = ∑ p(x) log (1/p(x))，p(x)是概率

通俗解释：
0、单位都是比较出来的，如3kg，是和1kg比较才出来的，所以先定义最基本的不确定性作为标准
1、熵的单位是比特bits，定义最基本的情况是：做两次等概率事件，才会出现一次结果，对于这种级别的不确定性，定义为1bits，即log2
3、则显然概率为1/4，则4/1次（倒数）才会出现一次，熵为log4=2
4、概率为2/5，做5/2次才会出现一次，熵为log5/2
5、则对于更一般的情况，如1/6、1/6、1/2、1/6，则熵H为：∑ p(x) log (1/p(x))=...