信息论与编码复习
若信源有m种消息,且每个消息是以相等可能产生的,则该信源的信息量可表示为I=logm。
信息率是通过接收到的信息可获得的发送信息的信息量,即互信息。单位:bit/符号。
信息速率是单位时间内传输的信息量。单位:bit/s
码字CodeWord。由若干个码元组成,计算机通信中通信表现为若干位二进制代码。
自信息量是符号概率的对数-logP(对数底数为2)单位为bit,可简写为-lb
信息熵是什么自信息(量)的数学期望,也是信息量。
每个符号的信息熵(接收到的每个符号自信息量的期望,均值,也是信息量)=发送出一个信源符号所需要的信息率(平均送出一个信源符号的信息量)
先验概率(prior probability)是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现.
遍历性
所谓各态历经,是指可以从过程的一个样本函数中获得它的各种统计特性;具有这一特性的随机过程称为具有各态历经性的随机过程。
遍历性是指统计结果在时间和空间上的统一性,表现为时间均值等于空间均值。例如要得出一个城市A、B两座公园哪一个更受欢迎,有两种办法。第一种办法是在某一个时点考察两个公园的人数,人数多的为更受欢迎公园;第二种办法,随机选择一名市民,在一年的时间里考察他去两个公园的次数,去得多的为更受欢迎公园。如果这个两个结果始终一致,则表现为遍历性。