AEP渐进均分性和数据压缩、随机过程的熵率、马尔可夫链与隐马尔可夫模型
渐进均分性AEP
渐进均分性AEP是和大数定律类似的概念，是弱大数定律的结果。而弱大数定律是指实验的重复次数不断增大时，某件事发生的频率越来越稳定，趋向于这件事发生的概率。
将有序集合划分成两个集合：①典型集，样本熵近似等于真实熵 ②非典型集，其他序列
关于典型序列的任何性质，都以很大概率成立，且将决定大样本的平均行为。
AEP的定义：
如果$X_1, X_2, …, X_n$是独立同分布（i.i.d.）序列，且服从$p(x)$，
则有$$-\frac{1}{n}logp(X_1,X_2,…, X_n)→H(X)$$
也就是依概率收敛
表明：在平均意义下，使用$nH(X) bit$足够描述n个独立同分布的随机变量
个人理解：
因为典型序列的任何性质都大概率成立，所以我们可以在传递信息时，压缩发送典型序列所需要的信息，这样就起到了压缩信息的目的。
也就是出现多的、概率大的，用更少的信息表示，出现少的、概率小的，用更多的信息表示，这样可以在总体上减小需要发送的信息量。（这里可能说的不对哈）
参考资料：如何对AEP(渐近等分性)做一个很直白的解释？
BeyondSelf的回答 - 知乎 https://www.zhihu.com/question/351779388/answer/1633347140
归帆去棹残阳里的回答 - 知乎 https://www.zhihu.com/question/351779388/answer/1566973494
大漠孤盐的回答 - 知乎 https://www.zhihu.com/question/351779388/answer/870207447
马尔可夫链
随机过程是平稳的：随机变量序列的任何子序列的联合分布关于时间参数的位移不变
$$P ( X_1=x_1,X_2=x_2,…, X_n=x_n ) = Pr ( X_{1+l}=x_1,X_{2+l}=x_2,…,X_{n+l}=x_n )$$
马尔可夫过程/链：随机序列的每个随机变量，仅依赖于它前一个随机变量，而条件独立于其他前面所有随机变量
$$Pr(X_{n+1}=x_{n+1}|X_{n}=x_{n}, X_{n-1}=x_{n-1}, …, X_{1}=x_{1}) = Pr(X_{n+1}=x_{n+1}|X_{n}=x_{n})$$
其联合概率密度函数$$p(x_1,x_2,…,x_n)=p(x_1)p(x_2|x_1)p(x_3|x_2)…p(x_n|x_{n-1})$$
如果马尔可夫链的初始状态服从平稳分布，那么该马尔可夫链必构成平稳过程，此所谓平稳分布。
熵率
n个随机变量构成的序列的熵，随n的增长率
极限存在时，随机过程${X_i}$的熵率：
$$H(X)=\lim_{n \to \infty}\frac{1}{n}H(X_1,X_2,…, X_n)$$
极限存在时，定义熵率的一个相关量
$$H'(X)=\lim_{n \to \infty }H(X_n|X_{n-1},X_{n-2},…, X_1)$$
平稳随机过程中
①极限存在且$H(X)=H'(X)$
②$H(X_n|X_{n-1},X_{n-2},…, X_1)$随n递减，存在极限$H'(X)$
Cesaro均值：若$a_n \to a$且$b_n=\frac{1}{n}\sum_{i=1}^n a_i$，则$b_n \to a$
隐马尔可夫模型
$X_1,X_2,…,X_n,…$是平稳马尔可夫链，且$Y_i=\phi(X_i)$是随机过程（每一项都是马尔可夫链中对应状态的函数）
此时$Y_1,Y_2,…,Y_n,…$不一定也是马尔可夫链，但的确是平稳的
要计算其熵率$H(Y)$，可以给出上界、下界，且他们分别从上和从下收敛于同一极限，这样可以进行不错的估计
定理
$X_1,X_2,…,X_n,…$是平稳马尔可夫链，且$Y_i=\phi(X_i)$，则
$$H(Y_n|Y_{n-1},…, Y_1, X_1) \leq H(Y) \leq H(Y_n|Y_{n-1},…, Y_1)$$
且$$limH(Y_n|Y_{n-1},…, Y_1, X_1)=H(Y)=H(Y_n|Y_{n-1},…, Y_1)$$
bonus
爱因斯坦：凡事应该尽可能使其简单到不能再简单为止
信息论要点：
①熵（随机变量的最小描述复杂度）、互信息（度量噪声背景下的同学速率，
相当于已知边信息条件下财富双倍率增长）等概念是为了回答基本问题产生的
②回答信息论的理论问题的答案有自然代数的结构：熵、相关量的相对熵和互信息各有其链式法则
研究某个问题，往往历经大量代数运算推理得到了结构，但此时未能了解问题的全貌
最后，通过反复观察结果，才对整个问题有完整、明确的认识
故：对一个问题的全面理解，不是靠推理，而是靠对结果的观察
