摘要： 1.熵（Shann Entropy） 熵又叫信息熵，香农熵，反映了一个系统的有序（无序）的程度。整个世界都是倾向于从有序到无序，从稳态到混乱，熵值从低到高。设随机变量$X$的取值为$X={x_0,x_1,x_2,......x_n}$，对应概率表达为$p(X=x_i)$，则$X$的熵可表示为： $H 阅读全文