Channel Coding Theorem 证明

防盗 https://www.cnblogs.com/setdong/p/17948414
对应于教材 Elements of Information Theory 的 8.7 章节.
在证明定理之前, 先复习一些背景知识, 包括 entropy, WLLN, AEP, joint AEP 和 DMC. 第二节为定理的声明和证明.

1. background

1.1 Entropies 熵

来自于书中的第二章
Entropy:

$$H(X)=-\sum_{x\in S_X} p(x)\log p(x)=-\mathbb{E}[\log p(x)]$$

衡量了一个随机变量的不确定程度/随机性 (uncertainty/ randomness)
Joint entropy 联合熵:

$$H(X,Y)=-\sum_{x\in S_X}\sum_{y\in S_Y} p(x,y)\log p(x,y)$$

同样地, $H(X,Y)$ 衡量的是 $X$ 和 $Y$ 联合的随机性.
Conditional entropy 条件熵:

$$H(Y|X)=\sum_{x\in S_X} p(x) H(Y|X=x)$$

$H(Y|X)$ 衡量的是给定 $X$ 后, $Y$ 的随机性.
Mutual information 互信息:

$$I(X;Y)=H(X)-H(X|Y)$$

是 $X$ 由于已知 $Y$ 而减少的“信息量”

1.2 Weak Law of Large Number(WLLN)

$X_1,...,X_n$ are i.i.d $\sim p(x)$, then

$$\frac{1}{n}\sum_{i=1}^n X_i \xrightarrow[\text{in Prob.}]{n\rightarrow \infty} \mathbb{E}[X]$$

即样本均值依概率收敛于期望值.

1.3 AEP: Asymptotic Equipartition Property

来自于书中的第3章
Thm. (AEP) If $X_1,...,X_n$ are i.i.d $\sim p(x)$, then

$$-\frac{1}{n} \log p(X_1,...,X_n)\xrightarrow[\text{in Prob.}]{n\rightarrow \infty} H(X) \\ p(X_1,...,X_n) \xrightarrow[\text{in Prob.}]{n\rightarrow \infty} 2^{-nH(X)}$$

Typical set (典型集) 定义:
The typical set $A_{\epsilon}^{(n)}$ with respect to $p(x)$ is the set of sequences $(x_1,...,x_n)\in S_X^{(n)}$ with the property

$$2^{-n(H(X)+\epsilon)}\leq p(x_1,...,x_n)\leq 2^{-n(H(X)-\epsilon)}$$

Typical set 有以下性质:

• If $(x_1,...,x_n)\in A_{\epsilon}^{(n)}$, then $H(X) - \epsilon\leq -\frac{1}{n} p(x_1,...,x_n)\leq H(X)+\epsilon$.
• $\Pr\{A_{\epsilon}^{(n)}\}>1-\epsilon$ for $n$ sufficiently large.
• $|A_{\epsilon}^{(n)}|\leq 2^{n(H(X)+\epsilon)}$.
• $|A_{\epsilon}^{(n)}|\geq (1-\epsilon)2^{n(H(X)-\epsilon)}$ for $n$ sufficiently large.

1.4 Joint AEP

来自于书中的8.6章节
Joint typical set 定义:
The set $A_{\epsilon}^{(n)}$ of jointly typical sequences $\{(x^n,y^n)\}$ with respect to $p(x,y)$ is the set of $n$-sequences with empirical entropies $\epsilon$-close to the true entropies:

$$A_{\epsilon}^ {(n)}=\{(x^n,y^n)\in S_X^n \times S_Y^n:\\ |-\frac{1}{n}\log p(x^n)-H(X)|<\epsilon,\\ |-\frac{1}{n}\log p(y^n)-H(Y)|<\epsilon,\\ |-\frac{1}{n}\log p(x^n,y^n)-H(X,Y)|<\epsilon\}$$

where $p(x^n,y^n)=\prod_{i=1}^{n} p(x_i,y_i)$.
Thm.(Joint AEP) Let $(X^n, Y^n)$ be sequences of length $n$ drawn i.i.d. $\sim p(x^n,y^n)=\prod_{i=1}^n p(x_i,y_i)$. Then,

• As $n\rightarrow \infty$, $\Pr \{(X^n, Y^n)\in A_\epsilon^{(n)}\}\rightarrow 1$

• $|A_\epsilon^{(n)}|\leq 2^{n(H(X,Y)+\epsilon)}$
  $|A_\epsilon^{(n)}|\geq (1-\epsilon)2^{n(H(X,Y)-\epsilon)}$ for sufficiently large $n$
• If $(\tilde{X}^n, \tilde{Y}^n)\sim p(x^n)p(y^n)$, then
  $\Pr \{(\tilde{X}^n, \tilde{Y}^n)\in A_\epsilon^{(n)}\}\leq 2^{-n(I(X;Y)-3\epsilon)}$
  $\Pr \{(\tilde{X}^n, \tilde{Y}^n)\in A_\epsilon^{(n)}\}\leq (1-\epsilon)2^{-n(I(X;Y)+3\epsilon)}$ for sufficiently large $

1.5 Discrete Memoryless Channel (DMC) without feedback

来自于书中的8.5章节

一个消息 $W$ 首先被编码成长度为 $n$ 的序列 $X^n$, $X^n$ 是信道的输入, 信道是一概率转移矩阵 (probability transition matrix) $p(y|x)$, 这里的随机性是由于噪声, 信道的输出是 $Y^n$, $Y^n$ 随即被解码成 $\hat{W}$.

• Memoryless 表示 $p(y_k|x^k, y^{k-1})=p(y_{k}|x_k)$, 即输出的概率分布只依赖于此时刻 ($k$) 的输入, 与之前的输入输出条件独立.
• W/O Feedback 表示 $p(x_k|x^{k-1},y^{k-1})=p(x_k|x^{k-1})$, 即输入与之前的输出独立.
• 因此 channel transition function 可以化简为

$$p(y^n|x^n) = \prod_{i=1}^{n} p(y_i|x_i)$$

接下来是一些重要的定义:

1. An $(M,n)$ code for channel $(S_X,p(y|x), S_Y)$ consists of:
   An index set $\{1,2,...,M\}$,
   An encoding function $X^n:\{1,2,...,M\}\rightarrow S_X^n$, yielding codewords $x^n(1), x^n(2),..., x^n(M)$. The set of codewords is called the codebook,
   A decoding function $g: S_{Y}^n \rightarrow \{1,2,...,M\}$, which is a deterministic function.
2. The information channel capacity:

$$C=\max_{p(x)}I(X;Y)$$

3. Conditional probability of error:

$$\lambda_i=\Pr\{g(Y^n)\neq i|X^n=x^n(i)\}=\sum_{y^n:g(y^n) \neq i} p(y^n|x^n(i))$$

4. The maximal probability of error $\lambda^{(n)}$ for an $(M,n)$ code:

$$\lambda^{(n)}=\max_{i\in{1,...,M}}\lambda_i$$

5. The arithmetic average probability of error $Pe^{(n)}$ for an $(M,n)$ code:

$$Pe^{(n)}=\frac{1}{M}\sum_{i=1}^M \lambda_i$$

6. The rate $R$ for an $(M,n)$ code:

$$R=\frac{\log M}{n}$$

单位是 bits/ch. use

2. Channel Coding Theorem

来自于书中的8.7章节
For a discrete memoryless channel, all rates below capacity $C$ are achievable. Specifically, for every rate $R < C$, there exists a sequence of $(2^{nR}, n)$ codes with maximum probability of error $\lambda^{(n)} \rightarrow 0$ as $n\rightarrow \infty$.
Conversely, any sequence of $(2^{nR}, n)$ codes with $\lambda^{(n)} \rightarrow 0$ must have $R \leq C$.
针对 DMC, 定理说明了两件事: 1. Achievability: 如果 $R$ 小于信道容量 $C$, 那么存在一种编码技术使$\lambda^{(n)}$任意小, 也就是说接收端收到的错误达到任意小的数值; 2. Converse: 任何无错编码技术一定满足 $R \leq C$.

2.1 证明 Achievability:

固定 $p(x)$, 首先分析根据 $p(x)$ 随机生成一个 $(M,n)$ code 的概率, 这等价于根据 $p(x^n)=\prod_{i=1}^n p(x_i)$ 独立生成 $2^{nR}$ 个 codewords, 这 $2^{nR}$ 个 codewords即为 codebook $B$. (编码簿)
如果把这个 codebook 写作一个 $2^{nR} \times n$ 的矩阵:

$$B = \begin{bmatrix} x_1(1) & x_2(1) & ... & x_n(1)\\ ...& ... & ...& ...\\ x_1(2^{nR}) & x_2(2^{nR}) & ... & x_n(2^{nR}) \end{bmatrix}$$

每行即为 codewords, 如第一行为 $x^n(1)$, 是消息 $1$ 的 codeword, 且 $p(x^n(1))=\prod_{i=1}^n p(x_i(1))$.
所以, 生成 $B$ 的概率为

$$\Pr(B)=\prod_{w=1}^{2^{nR}} \prod_{i=1}^n p(x_i(w))$$

考虑以下事件:

1. 根据上述概率公式生成一个随机的 codebook $B$.
2. 向发送端 Tx 和接收端 Rx 揭示 B, 假设 Tx 和 Rx 已知信道 $p(y|x)$.
3. (均匀)随机选择一个消息 $w$:

$$p(W=w)=2^{-nR}, w\in\{1,...,2^{nR}\}$$

4. 通过信道传送 $w$.
5. 接收端 Rx 根据 $p(y^n|x^n(w))=\prod_{i=1}^n p(y_i|x_i(w))$ 接收到长度为 n 的序列 $Y^n$
6. 如果下列两个条件成立, 则接收端 Rx 输出 $\hat{w}$:
   a) $(x^n(\hat{w}), y^n)\in A_\epsilon^{(n)}$ .
   b) 没有其他的 index $k$ 满足 $(x^n(k), y^n)\in A_\epsilon^{(n)}$ .
   如果不存在这样的 $\hat{w}$ 或者不只有一个这样的 $\hat{w}$, 那么报错.
7. 如果 $\hat{w} \neq w$, 报错.

接下来分析报错的概率 $\Pr(e)$:

令 $E_i=\{(X^n(i), Y^n) \in A_\epsilon^{(n)}\}$, 其中 $Y^n$ 为信道对$X^n(1)$的输出, 因为假设了传递的消息 $w=1$.
根据6(a), 6(b) 和 7的描述可知, 当传递的codeword与接收到的序列不 jointly typical 时 (等价于 $E_1^C$), 或一个错误的 codeword与接收到的序列是 jointly typical 时(等价于 $E_2 \cup E_2 \cup ... \cup E_{2^{nR}}$), 错误产生. 所以:

$$\Pr(e) =\Pr(e|W=1)=\Pr(E_1^C\cup E_2 \cup E_3 \cup ... \cup E_{2^{nR}}|W=1)$$

根据union bound, 上式满足

$$\leq \Pr(E_1^C|W=1)+\sum_{i=2}^{2^{nR}}\Pr(E_i|W=1)$$

根据 joint AEP 的第一条性质, 对于足够大的 n 有 $\Pr(E_1^C|W=1)\leq \epsilon$.
根据 joint AEP 的最后一条性质, 对于足够大的 n 有 $\Pr(E_i|W=1) \leq 2^{-n (I(X;Y)-3\epsilon)}$, 带入上式

$$\leq \epsilon +(2^{nR}-1) 2^{-n (I(X;Y)-3\epsilon)}\\ \leq \epsilon +2^{-n (I(X;Y)-3\epsilon -R)}$$

当 n 足够大且 $R< I(X;Y)-3\epsilon$ 时, 上式满足

$$\leq 2\epsilon$$

目前已经证明了当$R< I(X;Y)-3\epsilon$ 时, 我们可以选择合适的 $n$ 和 $\epsilon$ 令平均错误率 $Pe^{(x)}$ 小于等于 $2\epsilon$. 这里的平均是在所有的 codewords 和所有的 codebook 上的平均, 正如图片中的 sum over B 和 sum over w.
但是此时只得到了平均错误率的上界, 无法得出定理中的结论, 接下来推最大错误率 $\lambda^{(n)}$ 的上界.
再次考虑以下事件:

1. 选择 $p(x)=p^*(x)$, $p^*(x)$ 为令 $I(X;Y)$ 最大的输入分布, 也就是 $p^*(x)$ 是实现通道容量的那个分布.
   所以上面的条件 $R< I(X;Y) \Rightarrow R<C$ .
2. 选择一个平均错误率最小的 codebook $B*$, 所以

$$\Pr(e|B*)=\frac{1}{2^{nR}} \sum_{i=1}^{2^{nR}} \lambda_i (B* )\leq 2\epsilon$$

3. 移除 $B^{*}$ 中最差的那半 codewords, 将剩余部分记为 $B^{**}$, 由于平均错误率小于等于 $2\epsilon$ 且 概率是非负的, 所以$B^{**}$的最大错误率一定小于等于$4\epsilon$, 否则上一条中的不等式将不成立.

Achievability 证明完毕.

其中, 移除一半codewords 令 index set 减少一半, 即

$$2^{nR} \rightarrow 2^{nR}\times \frac{1}{2}=2^{n(R-\frac{1}{n})}$$

速率 R 只减少了 $\frac{1}{n}$, 且当 n 很大时, 对 R 几乎无影响.

2.2 证明 Converse:

来自于书中的8.8 - 8.10章节
未完待续