通信基础知识｜信息熵与香农公式

写在前面：本篇文章记录了自信息、互信息、信息熵与香农公式的一些定义、定理与简单的推导，引申阅读可参考通信笔/面试题(2) 香农公式

1 自信息与互信息

自信息是指某个事件包含的不确定性，也即从该事件中能够获取的信息量的大小，是一种信息量的度量，发生概率为$p(a_i)$的事件$a_i$的自信息定义为

$$I(a_i)=-\log p(a_i)$$

互信息的定义有两层含义，是针对事件来定义的，互信息可以刻画两个事件的相关性：

$$\begin{align} I(x_i;y_j)&=I(x_i)-I(x_i|y_j)\\ &=I(y_j)-I(y_j|x_i) \end{align}$$

第一层含义为事件$y_j$发生后，事件$x_i$剩余的不确定性（根据事件$y_j$的情况可以去除$x_i$不可能发生的一些可能，因此事件$y_j$的发生会减少事件$x_i$的部分不确定性），也即事件$y_j$发生后，接收端从$x_i$获得的信息量；第二层含义为事件$x_i$发生前后，事件$y_j$不确定性的减少量

2 信息熵

信息熵是指某个随机事件的平均不确定性，也即从该随机事件能够获取的平均信息量的大小。一个随机事件$X$可能有多种发生的可能性$x_i$，每种可能有相应的发生概率$p(x_i)$。信息熵在数学上定义的就是自信息的期望，也可以理解为平均自信息：

$$H(X)=-\sum_ip(x_i)\log p(x_i)$$

此外还有：

• 条件熵，刻画一个随机事件$X$发生的条件下，另一个随机事件$Y$的平均不确定性：$H(Y|X)=-\sum_i p(x_i)\sum_j p(y_j|x_i)\log p(y_j|x_i)$；
• 联合熵，刻画两个随机事件同时发生的平均不确定度：$H(XY)=H(X|Y)+H(Y)=H(Y|X)+H(X)$

平均互信息是对于两个随机变量来定义的，定义也类似地有两层含义，平均互信息可以刻画两个随机变量的相关程度，进一步推导计算公式有：

$$\begin{align} I(X;Y)&=H(X)-H(X|Y)=H(Y)-H(Y|X)\\ &=-\sum_ip(x_i)\log p(x_i)+\sum_i\sum_jp(x_i,y_j)\log p(x_i|y_j)\\ &=-\sum_i\sum_jp(x_i,y_j)\log p(x_i)+\sum_i\sum_jp(x_i,y_j)\log p(x_i|y_j)\\ &=\sum_i\sum_jp(x_i,y_j)\log \frac{p(x_i|y_j)}{p(x_i)} \\ &=\sum_i\sum_jp(x_i,y_j)\log \frac{p(x_i,y_j)}{p(x_i)p(y_j)} \\ \end{align}$$

对于信息传输模型$Y=X+Z$来说，平均互信息的含义为：1）从输入端看，发射信号$X$前后，关于接收信号$Y$的不确定性的减少量；2）从输出端看，接收信号$Y$前后，关于发射信号$X$剩余的不确定性，即接收端可从发射信号$X$中获取的信息量；3）站在通信系统的整体角度，通信前后系统不确定性的差值

注意：有很多博客直接把针对随机变量定义的平均互信息定义为互信息

3 香农公式

香农公式是加性高斯白噪声信道中的信道容量，这是香农公式的成立条件。信道容量是指信道中能够无误传输的最大数据速率，单位为bits/symbol、bits/s。数学上定义为发送信号与接收信号之间的最大互信息（bits/symbol）：

$$C=\max _{p(x)} I(X, Y)=\max_{p(x)}\{H(Y)-H(Y \mid X)\}$$

3.1 来源与条件#

一些高斯分布的信息熵的结论：$H(Z)=\frac{1}{2}\log_2(2\pi e\sigma^2)$；同等方差时，服从高斯分布的随机变量的信息熵最大（高斯分布是不确定性最大的分布）

香农公式是一种特殊的信道中的信道容量，公式为$C=B\log_2(1+\frac{S}{N})$。具体来说，有几个条件：

1. 信道是加性高斯白噪声信道，信道模型为$Y=X+Z$
2. 当输入信号也服从高斯分布时，信道容量才可以取到香农公式的等号

根据定义，首先来推导单位为bits/symbol的信道容量，注意噪声与发送信号无关：

$$\begin{align} I(X,Y)&=H(Y)-H(Y|X)=H(Y)-H(X+Z|X)\\ &=H(Y)-H(Z|X)=H(Y)-H(Z) \end{align}$$

对于高斯分布的噪声$N$，记住有高斯分布的微熵$H(Z)=\frac{1}{2}\log_2(2\pi e\sigma^2)$。当输入信号$X$服从高斯分布时，高斯分布的和仍是线性分布，此时$Y$的方差为$S+N$，其信息熵达到最大值。因此有

$$C=\max_{p(x)}I(X,Y)=\frac{1}{2}\log_2[2\pi e(S+N)]-\frac{1}{2}\log_2(2\pi e\sigma^2)=\frac{1}{2}\log_2(1+\frac{S}{N}), {\ \rm bits/symbol}$$

对于带宽为$B$的信号，根据采样定理有采样率为$2B \ {\rm (symbols/s)}$时就可以实现无失真的传输，此时信道容量为$C=B\log_2(1+\frac{S}{N}), {\rm \ bits/s}$。这也就是熟知的香农公式。

3.2 一些推论与应用#

通常相让信道容量变大，根据香农公式有几个方法

1. 增大信号功率$S$、或者减小噪声功率$N$，信道容量可以无限增大

2. 增大信号带宽$B$，信道容量不会趋于无穷大，而是趋于一个定值$1.44S/N_0$

   $$\begin{align} \lim _{B \rightarrow \infty} B\log_2{(1+\frac{S}{N})} &= \lim _{B \rightarrow \infty} B\log_2(1+\frac{S}{N_0B})\\ &= \lim _{B \rightarrow \infty} \frac{S}{N_0}\log_2{(1+\frac{S}{N_0B})^{\frac{BN_0}{S}}} \\ &= \frac{S}{N_0}e=1.44S/N_0 \end{align}$$

根据香农公式，信道带宽、信号噪声功率比$S/N$可以进行互换，例如通过牺牲信道带宽来改善对低信噪比的要求。

3.3 信道编码定理与香农极限#

香农极限推导主要用到公式：$\lim_{x\rightarrow0} (x+1)^{\frac{1}{x}}=e$

信道编码定理：如果数据传输速率小于等于信道容量$R\le C$，那么总可以找到一种信道差错控制编码实现无差错传输；反之，如果$R>C$，那么找不到一种信道差错控制编码实现无差错传输。

香农公式指出了加性高斯白噪声信道中可以无误传输的最大传输速率。香农极限是指加性高斯白噪声信道中，实现无差错传输的信噪比$E_b/N_0$的极限：$-1.6{\ \rm dB}$，其中$E_b$为每个比特的信号能量。关于通信仿真中的信噪比概念可参考这里。根据上面的信道编码定理有：

$$R\le C=B\log_2(1+\frac{S}{N_0B})$$

又根据$E_b$的概念，有$S ({\rm W,J/s})=E_b({\rm J/bit})\cdot R(\rm bits/s)$，所以继续化简

$$\begin{align} &\Rightarrow R\le B\log_2(1+\frac{E_bR}{N_0B}) \\ &\Rightarrow \log_2(1+\frac{E_b}{N_0}\frac{R}{B}) \ge\frac{R}{B} \\ &\Rightarrow \log_2(1+\frac{E_b}{N_0}\frac{R}{B})^{\frac{N_0B}{E_bR}}\frac{E_b}{N_0}\frac{R}{B} \ge \frac{R}{B} \\ &\Rightarrow \frac{E_b}{N_0} \ge-\log_2(1+\frac{E_b}{N_0}\frac{R}{B})^{\frac{N_0B}{E_bR}} \ge -\log_2e = -1.6{\ \rm dB} \end{align}$$