信息及其度量 几点解释

1.离散消息（离散信源）

只能产生有限种符号，可以看成一种有限个状态的随机序列。

2.符号和码元的关系

波特率又称符号率。

符号又称单位码元（一个码元），它是一个单元传送周期（T，即传送一个码元）内的数据信息。

3.消息中的信息量：平均信息量

P(Xi)：一个事件出现的概率

（1）各事件等概率

      （M进制波形） M个波形之一等概率发送：每个波形的信息量（平均信息量） I=log(2)M （b）

        注：波形是一个笼统的概念 一般我们可以说时域所看到的一段信号为一个波形 例如数字通信里面你可以说一个高电平的方波是一个波形，也可以说一个低电平加一个高电平                 的“S”形方波是一个波形。           

（2）事件不等概率

       M个符号组成的信源集合

       各个符号等概率出现时：每个符号所含信息的统计平均值（平均信息量），信息源的熵 H(X)=log(2)M

4.

（1）码元速率（符号速率）：    RB   B   

（2）信息速率（比特率）（即 平均信息速率）：单位时间内传递的平均信息量 ,即  平均信息速率：  Rb =RB * H(x)       b/s

                   默认M进制波形的M个波形等概率发送时，（平均）信息速率    Rb =RB * H(x)   b/s      =RB * log(2)M  bps  

 

5. 一段时间传送的信息量（b）=传送时间（s）* 平均信息速率Rb

                                       =传送时间（s）* RB * H(x)  

6.

二进制码元（默认“0”“1”等概率出现在二进制码元的传输中时）

Rb=RB

7.

存储空间：1Mb=2^10 kb =2^20 b

信息量：   1Mb=10^3 kb =10^6 b

8.码元 比特 

一个码元的平均信息量 用比特表示，一个M进制波形（即M进制码元）的波形之一的信息量 用比特表示，

9.

H(x)：单个符号的平均信息量

Rb  ：单位时间内的平均信息量  ,即 平均信息速率

平均信息量（等概率时为I 和非等概率时为H(x)） 和平均信息速率（等概率时的Rb 和 非等概率时的Rb）：  

等概率：   Rb=RB * H(x)= RB * log(2)M            

非等概率：Rb=RB * H(x)