大数据王小皮

摘要： 一、熵编码概念： 熵越大越混乱 信息学中的熵： 用于度量消息的平均信息量，和信息的不确定性 越是随机的、前后不相关的信息，其熵越高 信源编码定理： 说明了香农熵越信源符号概率之间的关系 信息的熵为信源无损编码后平均码长的下限 任何的无损编码方法都不可能使编码后的平均码长小于香农熵，只能使其尽量接近 阅读全文