信息论理论学习笔记

信息，消息和信号:

获得信息就将消除一部分不确定性。

信息量就是事件发生后消除的不确定性的量，每消除一部分不确定性，我们就认为收到了一部分信息量。

信息描述的就是不确定性。信息是概率的函数

香农信息定义：信息是事物运动状态或存在方式不确定性的描述

信息的特征：

　　1. 不确定性，接受者在收到信息之前，对它的内容是不知道的；

事物出现某状态不确定性的大小，与该状态出现的概率大小有关

不确定性完全可以有概率来度量。我们根据概率变化的大小就可以得到消除的不确定性的大小。

不确定性的大小和概率的大小有关，并且呈现递减$f(p(x_i))$

不确定性大小函数f应该满足以下的条件:

　　1. f(1)=0;

　　2. f(p(x))是单调递减函数，也就是说概率越大，不确定性越小

　　3. 独立可加性

　　　　$f(p(x)p(y)) = f(p(x))+f(p(y))$

香农信息定义：信息是事物运动状态或存在方式不确定性的描述,

 

自信息:$I(x_i) = -log P(x_i)$,这里$P(x_i)$就是选择符号值$x_i$作为发送消息的概率，而$I(x_i)$就是选择符号值$x_i$作为发送消息的不确定性。

条件自信息：$I(x_i|y_j) = - log p(x_i|y_j)$，当我收到$y_j$后，我确定发送端发送的是$x_i$的不确定性， 后验概率$p(x_i|y_j)$表示接收端收到消息$y_j$后而发送端发的是$x_i$的概率　　

       2. 信息能使主题对某一事物的未执行或不确定性减少

　　3. 信息是可以度量的

消息：是包含有信息的语言文字或者图像等

信号：是消息的物理体现

熵的定义:

集$\{X, P(x)\}$上定义的随机变量$I(x)$的数学期望:$H(x) = - \sum P(x)log P(x) = \sum I(x) P(x)$

称为集X的平均自信息量，又称为是集X的信息熵，简称熵

熵的含义：

表示为了确定集X中一个事件出现平均所需的信息量(观测前)，或集X中每出现一事件平均给出的信息量(观测后)