信息与信息系统

第一章 信息与信息系统

1.1 信息与信息量

哈特莱对于信息的度量方法：

$$I = \log\frac1P = -\log P$$

如果上述公式的对数以2为底，则其计量单位为比特（bit）

1.1.2 信息量的计算方法

Shanon 根据哈特莱的信息度量方法，给出了不同情况下信息的度量方法：

1. 自信息量

   如果一个信源内若干个字符信息的出现都是彼此独立的，则该字符序列的联合信息量等于各个字符的自信息量总和。

2. 条件自信息量

   若随机字符X是在另一个随机字符Y之后出现，则X的条件自信息量为

   $$I(X|Y) = -\log P(X|Y)$$

3. 互信息量

   若随机字符X和Y之间来自不同的信源，则X和Y之间存在互信息量，定义为

   $$I(X,Y) = \log\{P(X|Y)/P(X) \}$$

   互信息量可以理解为由于已知另一个信息而减少的不确定性。

4. 条件互信息量

   在给定随机字符Z的情况下，出现字符对X与Y之间的互信息量为

   $$I(X,Y|Z) = \log\{P(X,Y|Z)/P(X|Z) \}$$

1.2 信源与信息熵

1.2.1 信息熵的计算

1. 信息熵

在一段信息X中存在各个字符，每个字符出现的概率都不同，则其信息熵计算方式为

$$H(X) = \sum_XI(x)P(x)$$

当每个字符出现的概率相等时，信息的信息熵达到最大值。为

$$H(X)_\max = \log M$$

M为信息中的字符数量。

2. 条件熵

$$H(Y|X) = \sum_{XY}P(xy)I(y|x)$$

条件熵这里信息量用的是条件自信息量，概率却用的是同时发生的概率。

应用信息熵和条件熵的概念，可以依靠信源编码器来降低信源中各个信息之间的相关性来减少信息中存在的信息冗余度，同时改善信息的概率结构，力求达到或接近最大信息熵，同时提供信息效率，为信源压缩技术提供理论依据。

信息增益 = 熵 - 条件熵，比如对于上面这个公式，我们在确定X发生后，Y发生的熵就从$H(Y)$减小到了$H(Y|X)$，减小的这部分不确定性就被称为信息增益。互信息和信息增益实际上是一个值。

3. 共熵

$$H(XY) = \sum_{XY}P(xy)I(xy)$$

字符信息所拥有的共熵总是小于各个信息的信息熵之和，只有在各个字符集相互统计独立时，两者才相等。

4. 互熵

$$I(X;Y) = \sum_YP(y)I(X;y)$$

互熵和共熵的关系如下：

$$I(X,Y) = H(X) + H(Y) - H(XY)$$

互熵在信息传输过程中十分重要。假定X在有噪声的信道内传输，接收端接收到的信息可能是Y。条件熵 $H(X|Y)$ 正是被信道噪声损失掉的那部分信息量。

5. 时间熵

时间熵是指在单位时间内信源所发出的信息熵，在信息传输系统中称为信息传输速率。

$$H_t = -\frac{\sum_{i=1}^NP(x_i)\log P(x_i)}{\sum_{i=1}^NP(x_i)b_i}$$

1.2.2 离散字符信源的信息熵

2. 延长型字符信源

字符消息是由多个字符组成的字符信息序列，但是各个字符之间一定要通过某些特定的规则才能构成有实际意义的字符信息序列。

3. 记忆型字符信源

记忆型文字信源的特点是指信源所发出的各个字符之间都存在记忆性，其记忆程度可以用关联性来衡量。

这种记忆关系可以用概率论中的马尔科夫链来描述。条件熵可以表示为上一个状态转移到下一个状态的转移熵。

离散信源特例—二进制信源

由N个二进制数字为一组构成的新信源共有$2^N$ 个符号，每个符号长度为N，成为二进制信源的N次扩展信源

$$H(X^N) = NH(X)$$

信源剩余度 = $1-H(X)/H_{\max}(X)$

1.2.3 连续模拟信源的信息熵

通过脉冲采样可以将连续信号转换为离散信号，采样频率必须大于等于信号频谱内上限频率的2倍。

在这个条件以及量化误差可以容许的情况下，离散的量化信号自信息量与信息熵，应该与原来连续的模拟信号所拥有的自信息量和信息熵基本相等。

如果把量化级差尽量缩小，则可以认为在采样点上的取值落在$(x_i,x_1+\Delta x)$ 区间内的概率近似为

$$P(x_i<x<x_i+\Delta x)\simeq p(x_i)\cdot \Delta x$$

$p(x_i)$ 即为概率密度函数。

因此在采样信号序列里各采样值的平均自信息量为

$$H(X) = -\sum_{i=-L}^Lp(x_i)\Delta x\log[p(x_i)\Delta x]$$

当$\Delta x\rightarrow \infty$ 时，可以转化为积分形式：

$$\begin{aligned} H(X) &= -\int_{-\infty}^\infty p(x)\mathrm dx\log [p(x_i)\Delta x]\\ &=-\int_{-\infty}^\infty p(x)\log p(x)\mathrm dx + H(X_0)\\ \end{aligned}\\ H(X_0) = -\int_{-\infty}^\infty p(x)\log\Delta x\mathrm dx = -\log\Delta x$$

其中，$H(X_0)$ 为绝对熵，另一项则为相对熵。

相对熵与量化误差无关，因此常用相对熵来衡量比较模拟信号的信息熵。

为了使模拟信源拥有最大的信息熵，有必要寻求模拟信源发出模拟信息的最佳概率密度函数。

下面是三种最常见的模拟信息最佳概率密度函数：

1. 信号峰值功率受限于$P_s$ 条件下

   假定模拟信号的瞬时值不超过$\pm\sqrt {P_s}$ 这个范围，则最佳概率密度函数为

   $$p_{\mathrm{opt}}(x) = \frac1{2\sqrt{P_s}}$$

   可见是一个均匀分布，最大信息熵为

   $$H_\max = \ln(2\sqrt{P_s})$$

2. 信号平均功率为 $\sigma^2$ 条件下的最佳概率密度函数

   $$p_{\mathrm{opt}}(x) = \frac1{\sigma\sqrt{2\pi}}e^{-\frac{x^2}{2\sigma^2}}$$

   应该是均值为0，方差为平均功率的正态分布。

   $$H_\max = \ln(\sigma\sqrt{2\pi e})$$

3. 信号的平均幅度受限于A，且仅限于正值条件下

   $$p_{\mathrm{opt}}(x) = \frac1Ae^{-\frac xA}$$

   服从负指数分布

   $$H_\max = \ln(\mathrm eA)$$

1.3 信道与传输性能

1.3.1 模拟调制信道的传输性能

1. 实际的信道都会有信号幅度动态范围，当信号超出这个范围时，将会产生非线性失真；
2. 模拟信达对信号有衰减特性，并且对于不同的频率分量有不同的衰减；
3. 模拟信道具有相位（或时延）频率特性，当信号通过模拟信道时对于不同的频率分量有不同的相位变化；
4. 模拟信道即使在没有信号传输的情况下，也会有一些随机噪声产生。

通过上述特性，可以将模拟信道用一个数学模型来表示：

$$H(\omega,\tau) = K(\omega,\tau)\exp[-\mathrm j\omega t_d(\omega,\tau)]$$

$K(\omega,\tau)$ 代表随时间而变化的信道频率衰减特性，$t_d(\omega,\tau)$ 代表随时间而变化的信道时延频率特性。

如果信道的参数不随时间变化，则数学模型为

$$H(\omega) = K(\omega)\exp[-\mathrm j\omega t_d(\omega)]$$

1. 衰减频率特性

当信号通过时不变线性网络时，保证信号无失真的条件是要求它的传递函数满足下式：

$$H(\omega) = Ke^{\mathrm j\omega t_d}$$

即要求它的衰减频率特性为常数

2. 相位频率特性

为了实现无失真地信号传输，除了满足均匀的幅度频率特性条件之外，还要求欣慰频率特性呈现具有负斜率的斜直线，即

$$\varphi(\omega) = -\omega t_\mathrm d$$

1.3.2 数字编码信道传输性能

1. 误码率

误码率等于发0收1的概率加上发1收0的概率。

$$P_{\mathrm e} = P(0)P(1/0) + P(1)P(0/1)$$

对于二进制信道，在数学上可以用转移概率矩阵来表示：

$$P(y_i|x_i) = \begin{bmatrix}1-\varepsilon &\varepsilon\\ \varepsilon&1-\varepsilon \end{bmatrix}$$

$x_i$ 表示信源发端的信号，$y_i$表示接收到的信号。

在发端发出X，收到对应Y的概率为

$$P(Y) = P(X)P(Y|X)$$

示例：

已知一个二进制信道的转移矩阵为：

$$[P(Y/X)] = \begin{bmatrix} 0.7&0.3\\0.4&0.6 \end{bmatrix}$$

若$P(x_1) = P(x_2) = 0.5$，求H(Y)

$$P(Y) = \begin{bmatrix}0.5&0.5\end{bmatrix}\begin{bmatrix}0.7&0.3\\0.4&0.6\end{bmatrix} = \begin{bmatrix} 0.55&0.45\end{bmatrix}\\ H(Y) = -0.55*\log0.55 - 0.45*\log0.45 = 0.96\mathrm{bit}/符号$$

2. 信道容量

假定在给定的信号传输时间T内所能传输信息的最大容量为 $N(T)$，则该信道的容量就等于

$$C_t = \lim_{T\rightarrow\infty}\frac{\log N(T)}T\\ N(T) = \max_{P(X)}\{I(X;Y) \}$$

信息传输率：信道中平均每个符号所传送的信息量。

信道容量是信道本身的特性，与信源无关，其定量描述了信道信息的最大通过能力；不是所有的信源传输符号都可以达到这个传输速率，使信道达到最大传输速率的输入概率分布称为最佳输入分布。

奈奎斯特公式——无噪声信道传输能力公式

$$C = 2H\log_2\mathrm N(bps)$$

H为信道传输的带宽，单位为Hz。N为一个码元可取的离散值数。

香农公式——带噪声信道传输能力公式

$$C =H*\log_2(1+S/N)(bps)$$

S为信号功率，N为噪声功率。

S/N 为信噪比，通常表示为$10\lg(\mathrm{S/N})$分贝db。