摘要：
PRAML学习笔记-信息论 概述 对<<pattern recognition and machine learning>> 一书关于信息论简介的学习笔记, 对于一个随机变量x,它携带有多少信息量呢? 当我们观察到了x的一个特定值的时候，我们获得了多少信息量呢? 信息量可以表示为“惊讶度”(degree of surprise)。 如果我们观察到了一个不常见的事情发生显然惊讶度高，获得信息量大,极端的如果我们知道一个事件百分百发生那么我们没有任何信息获得。 我们考虑与概率分布p(x)相关联的h(x),表示观测到x值时的信息量，当我们认为x,y无关 阅读全文
