LESSON 4- Entropy and Asymptotic Equipartition Property

1.        Entropy

 

 

2.        序列熵（无记忆，有记忆，马尔科夫）

3.   Fixed-to-variable-length codes  (给n个输出symbols进行变长编码）

 

 

4.        Asymptotic Equipartition Property 渐近等分性

 

渐近等分性是指随机变量长序列的一种重要特性，是编码定理的理论基础，简称AEP。

 

定义：

 

当随机变量的序列足够长时,其中一部分序列就显现出一种典型的性质：这些序列中各个符号的出现频数非常接近于各自的出现概率（Frequency equals probability），而这些序列的概率则趋近于相等，且它们的和非常接近于1,这些序列就称为典型序列（typical sequence）。其余的非典型序列的出现概率之和接近于零。序列的长度越长，典型序列的总概率越接近于1,它的各个序列的出现概率越趋于相等。渐近等分性即因此得名。