信息论与编码：弱典型性与强典型性

弱典型性、强典型性

1. Weak AEP

考虑信源\(\left\{X_{k}:k\ge 1\right\}\)，其中\(X_{k}\)独立同分布，服从\(p(x)\)，用\(X\)表示一般性的变量，即任何的\(X_{k}\)都与\(X\)同分布。

Weak AEP I：

\(\displaystyle -\frac{1}{n}\log p(\boldsymbol{X})\)依概率收敛于\(H(X)\)，即对于任意\(\epsilon > 0\)，对于足够大的\(n\)，

\[\text{Pr}\left(\left|-\frac{1}{n}\log p(\boldsymbol{X}) - H(X)\right| \le \epsilon\right) > 1 - \epsilon \]

由弱大数定律可证。

弱典型集（weakly typical set）：

关于概率分布\(p(x)\)的弱典型集\(W_{[X]\epsilon}^{n}\)是由所有满足：

\[\left|-\frac{1}{n}\log p(\boldsymbol{x}) - H(X)\right| \le \epsilon \]

的序列\(\boldsymbol{x}\)构成的集合，其中\(\boldsymbol{x} = (x_1, \cdots, x_n)\)。

\(\displaystyle -\frac{1}{n}\log p(\boldsymbol{x}) = -\frac{1}{n}\sum_{k=1}^{n}\log p(x_{k})\)称作序列\(\boldsymbol{x}\)的经验熵（empirical entropy）。

Weak AEP II：

对于任意的\(\epsilon > 0\)：

1. 若\(\boldsymbol{x} \in W_{[X]\epsilon}^{n}\)，则\(2^{-n(H(X)+\epsilon)} \le p(\boldsymbol{x}) \le 2^{-n(H(X)-\epsilon)}\)
2. 对于足够大的\(n\)，\(\text{Pr}\left\{\boldsymbol{X} \in W_{[X]\epsilon}^{n}\right\} > 1 - \epsilon\)
3. 对于足够大的\(n\)，\((1 - \epsilon)2^{n(H(X)-\epsilon)} \le \left|W_{[X]\epsilon}^{n}\right| \le 2^{n(H(X)+\epsilon)}\)

性质1由弱典型集的定义可得，性质2由Weak AEP I可得，性质3通过将性质1乘上\(\left|W_{[X]\epsilon}^{n}\right|\)得到\(\left|W_{[X]\epsilon}^{n}\right|2^{-n(H(X)+\epsilon)} \le \text{Pr}\left\{\boldsymbol{X} \in W_{[X]\epsilon}^{n}\right\} \le \left|W_{[X]\epsilon}^{n}\right|2^{-n(H(X)-\epsilon)}\)，结合性质2可得。

弱典型性的解释：

随机变量\(X\)服从分布\(p(x)\)，独立地由\(p(x)\)得到序列\(\boldsymbol{X} = (X_1, \cdots, X_n)\)，\(\boldsymbol{X}\)的概率接近\(2^{-nH(X)}\)（即\(\boldsymbol{X}\)属于弱典型集）的可能性非常大，且弱典型集的大小非常接近\(2^{nH(X)}\)。

\[\frac{\left|W_{[X]\epsilon}^{n}\right|}{\left|\mathcal{X}\right|^{n}} \approx \frac{2^{nH(X)}}{2^{n\log \left|\mathcal{X}\right|}}=2^{n(H(X) - \log \left|\mathcal{X}\right|)} \]

若\(H(X) < \log \left|\mathcal{X}\right|\)，则\(n \rightarrow \infty\)时，上式趋于\(0\)。也就是说，只要\(H(X) < \log \left|\mathcal{X}\right|\)，当序列长度足够长时，i.i.d.得到的序列大概率属于弱典型集，且弱典型集只占所有可能序列的一小部分。

可能性最大的序列通常并不是弱典型的，例如\(X \sim \text{Bernoulli}(0.9)\)，可能性最大的序列是\((1,1, \cdots, 1)\)，但是该序列的经验熵与\(H(X)\)并不相近。

2. 信源编码定理

\(\boldsymbol{X} = (X_1, X_2, \cdots, X_n) \in \mathcal{X}^{n}\)由\(p(x)\)独立同分布地得到，一种分组编码方案是，令\(\mathcal{A} \subseteq \mathcal{X}^{n}\)，令\(\mathcal{I} = \left\{1, 2, \cdots, \left|\mathcal{A}\right|\right\}\)，\(f: \mathcal{A} \rightarrow \mathcal{I}\)是从\(\mathcal{A}\)到\(\mathcal{I}\)的一一映射，编码过程为：

• 若\(\boldsymbol{x} \in \mathcal{A}\)，编码为\(f(\boldsymbol{x})\)
• 若\(\boldsymbol{x} \notin \mathcal{A}\)，编码为\(1\)

译码过程为：

• 将\(y \in \mathcal{I}\)译码为\(f^{-1}(y)\)

其中\(n\)是分组长度，\(\mathcal{I}\)中元素称为码字（codeword）

编码率：\(\displaystyle R = \frac{\log_2\left|\mathcal{A}\right|}{n\log_2\left|\mathcal{X}\right|} = \frac{\log_{\left|\mathcal{X}\right|}\left|\mathcal{A}\right|}{n}\) （对于\(\left|\mathcal{X}\right|=2\)的情况，\(\displaystyle R = \frac{\log\left|\mathcal{A}\right|}{n}\)）

错误概率：\(P_e = \text{Pr}(\boldsymbol{X} \notin \mathcal{A})\)

信源编码定理（Source Coding Theorem）：

1. Direct Part

   对于任意\(\epsilon > 0\)，存在一种编码方案，使得对于足够大的\(n\)，\(\left|R - H(X)\right| < \epsilon\)，\(P_e < \epsilon\)

   证明：考虑\(\left|\mathcal{X}\right|=2\)的情况，给定\(\epsilon > 0\)，找到满足\(\displaystyle \delta + \frac{1}{2}\log \frac{1}{1 - \delta} = \epsilon\)的\(\delta\)，令\(\mathcal{A} = W_{[X]\delta}^{n}\)即可。

2. Converse Part

   若某种编码方案满足\(R < H(X) - \xi\)，其中\(\xi > 0\)，则当\(n\)足够大时，错误概率\(P_e\)收敛到\(1\)。

   证明：令\(0 < \epsilon < \xi\)，构造\(W_{[X]\epsilon}^{n}\)，用\(W_{[X]\epsilon}^{'}\)表示\(W_{[X]\epsilon}^{n}\)的补集，则对于足够大的\(n\)：

   \[\begin{align*} \text{Pr}(\boldsymbol{X} \in \mathcal{A}) &= \text{Pr}(\boldsymbol{X} \in \mathcal{A} \cap W_{[X]\epsilon}^{n}) + \text{Pr}(\boldsymbol{X} \in \mathcal{A} \cap W_{[X]\epsilon}^{'})\\ &\le \left|\mathcal{A}\right|\times\max_{\boldsymbol{x} \in W_{[X]\epsilon}^{n}}\text{Pr}(\boldsymbol{x})+\text{Pr}(\boldsymbol{X} \in W_{[X]\epsilon}^{'})\\ &\le 2^{nR}\times2^{-n(H(X)-\epsilon)}+\epsilon\\ &\le 2^{n(\epsilon - \xi)}+\epsilon \end{align*} \]

   所以\(\displaystyle \lim_{n \rightarrow \infty}\text{Pr}(\boldsymbol{X} \in \mathcal{A}) \le \epsilon\)，从而\(\displaystyle \lim_{n \rightarrow \infty}\text{Pr}(\boldsymbol{X} \in \mathcal{A}) = 0\)

3. Strong AEP

强典型集（Strong Typical Set）：

关于概率分布\(p(x)\)的强典型集\(T_{[X]\delta}^{n}\)是由所有满足：

\[\sum_{x \in \mathcal{X}}\left|\frac{1}{n}N(x;\boldsymbol{x})-p(x)\right| < \delta \]

的序列\(\boldsymbol{x} = (x_1, x_2, \cdots, x_n) \in \mathcal{X}^{n}\)构成的集合。其中\(N(x;\boldsymbol{x})\)是序列\(\boldsymbol{x}\)中\(x\)的个数。

Strong AEP：

存在\(\eta > 0\)，使得当\(\delta \rightarrow 0\)时，\(\eta \rightarrow 0\)，并且：

1. 若\(\boldsymbol{x} \in T_{[X]\delta}^{n}\)，则\(2^{-n(H(X)+\eta)} \le p(\boldsymbol{x}) \le 2^{-n(H(X)-\eta)}\)

2. 对于足够大的\(n\)，\(\text{Pr}(\boldsymbol{X} \in T_{[X]\delta}^{n}) > 1 - \delta\)

3. 对于足够大的\(n\)，\((1 - \delta)2^{n(H(X)-\eta)} \le \left|T_{[X]\delta}^{n}\right| \le 2^{n(H(X)+\eta)}\)

证明：

性质1：

\[\begin{align*} \log p(\boldsymbol{x}) &= \sum_{x}N(x;\boldsymbol{x})\log p(x)\\ &= \sum_{x}\left(N(x;\boldsymbol{x}) - np(x)+np(x)\right)\log p(x)\\ &= n\left[\sum_{x}\left(\frac{N(x;\boldsymbol{x})}{n} - p(x)\right)\log p(x) +\sum_{x}p(x)\log p(x)\right]\\ &= -n\left[\sum_{x}\left(\frac{N(x;\boldsymbol{x})}{n} - p(x)\right)\left(-\log p(x) \right)+H(X)\right]\\ \end{align*} \]

由于

\[\begin{align*} \left|\sum_{x}\left(\frac{N(x;\boldsymbol{x})}{n} - p(x)\right)\left(-\log p(x) \right)\right| &\le \sum_{x}\left|\frac{N(x;\boldsymbol{x})}{n} - p(x)\right|\left(-\log p(x) \right)\\ &\le \delta \cdot \max_{x}(-\log p(x))\\ &= \eta \end{align*} \]

其中\(\displaystyle \eta = \delta \cdot \max_{x}(-\log p(x)) > 0\)，当\(\delta \rightarrow 0\)时，\(\eta \rightarrow 0\)。

因此

\[-n(H(X)+\eta) \le \log p(x) \le -n(H(X)-\eta) \]

从而

\[2^{-n(H(X)+\eta)} \le p(\boldsymbol{x}) \le 2^{-n(H(X)-\eta)} \]

性质2：

\[\begin{align*} \text{Pr}(\boldsymbol{X} \in T_{[X]\delta}^{n}) &=\text{Pr}\left(\sum_{x}\left|\frac{N(x;\boldsymbol{x})}{n} - p(x)\right| \le \delta \right)\\ &= 1 - \text{Pr}\left(\sum_{x}\left|\frac{N(x;\boldsymbol{x})}{n} - p(x)\right| > \delta \right)\\ &\ge 1 - \text{Pr}\left(\left|\frac{N(x;\boldsymbol{x})}{n} - p(x)\right|>\frac{\delta}{\left|\mathcal{X}\right|}\text{ for some } x\right)\\ &> 1 - \delta \end{align*} \]

其中\(\displaystyle \text{Pr}\left(\left|\frac{N(x;\boldsymbol{x})}{n} - p(x)\right|>\frac{\delta}{\left|\mathcal{X}\right|}\text{ for some } x\right) < \delta\)的证明如下：

定义随机变量\(B_{k}(x) = 1 \cdot \left\{X_{k} = x\right\}\)，则\(\displaystyle N(x;\boldsymbol{X})=\sum_{k=1}^{n}B_{k}(x)\)，且\(B_{k}(x), k = 1, 2, \cdots, n\)独立同分布，\(EB_{k}(x) = p(x)\)，考虑\(\mathcal{X}\)有限的情况，对于任意的\(x\)，由弱大数定律可知，对于任意\(\delta > 0\)：

\[\text{Pr}\left(\left|\frac{1}{n}\sum_{k=1}^{n}B_{k}(x) - p(x)\right| > \frac{\delta}{\left|\mathcal{X}\right|}\right) < \frac{\delta}{\left|\mathcal{X}\right|} \]

从而：

\[\begin{align*} &\ \text{Pr}\left(\left|\frac{N(x;\boldsymbol{x})}{n} - p(x)\right|>\frac{\delta}{\left|\mathcal{X}\right|}\text{ for some } x\right)\\ = &\ \text{Pr}\left(\left|\frac{1}{n}\sum_{k=1}^{n}B_{k}(x) - p(x)\right|>\frac{\delta}{\left|\mathcal{X}\right|}\text{ for some } x\right)\\ = &\ \text{Pr}\left(\bigcup_x\left|\frac{1}{n}\sum_{k=1}^{n}B_{k}(x) - p(x)\right|>\frac{\delta}{\left|\mathcal{X}\right|}\right)\\ \le &\ \sum_{x}\text{Pr}\left(\left|\frac{1}{n}\sum_{k=1}^{n}B_{k}(x) - p(x)\right|>\frac{\delta}{\left|\mathcal{X}\right|}\right)\\ < &\ \delta \end{align*} \]

性质3同Weak AEP性质3

Strong Typicality Versus Weak Typicality

由Strong AEP性质1可知，若\(T_{[X]\delta}^{n}\)是关于\(X\)的强典型集，则存在\(\eta > 0\)，使得当\(\delta \rightarrow 0\)时，\(\eta \rightarrow 0\)，对于任意的\(\boldsymbol{x} \in \mathcal{X}^{n}\)，若\(\boldsymbol{x} \in T_{[X]\delta}^{n}\)，则\(\boldsymbol{x} \in W_{[X]\eta}^{n}\)。