信息论

信息论

走在前面：

说到信息论，首先需要提到的就是克劳德·香农－（“信息论之父”）。人们通常将香农发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（《通信的数学原理》）作为现代信息论研究的开端。

信息

信息的定义：

“信息是被消除的不确定性”--1928年，哈特莱

这是被大家广泛认可的一种科学性的信息定义

信息量

在这里提及的信息量是有确定解释并可以量化计算的。一段文字有多少信息量的想法最早还是在1928年有哈特莱首先提出的，即信息定量化的初步设想，他将消息数的对数定义为信息量。即：I=log2m
当然使用这个信息量的计算公式首先就需要满足信息源中的每个消息都是以相等的可能产生的。

用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。即信息量的多少是与事件发生频繁(即概率大小)成反比。

香农公式

公式： C=B*log₂（1+S/N) （bit/s)
B代表码元速率的极限值（奈奎斯特指出，B = 2H， H为通信带宽，单位为Baud）；
S是信号功率（瓦）；
N是噪声功率（瓦）；
C表示在一个通道里面信号出书的速度上限，单位为比特；
S/N是信噪比；

=》得出结论：带宽越大传输速度越快（在《编码》这本书里也提及了带宽这个概念，并且也谈到了带宽越大那么数据传输速率就越大），信噪比越大传输速率越大。

熵

熵的概念：

熵一般在热力学上用的较多，其物理意义是来是体系混乱程度的度量。
——》所以信息熵用通俗的话来讲就是信息杂乱程度的量化描述

公式：[外链图片转存中...(img-9UWayT1P-1592991665277)]
信息越确定，越单一，信息熵就越小
信息越不确定，越混乱，信息熵就越大