应用信息论基础 第六章 最大熵原理及应用 笔记

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.1 基本概念

在这里插入图片描述
熵越大,无序性越大。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.2 最大熵理论的由来

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
因为这是一个孤立系统。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.3 最大熵原理

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
从倒数第三行到倒数第二行:

倒数第三行=xλ0p(x)+xp(x)iλifi(x)=λ0+iλixp(x)fi(x)=λ0+iλiCi不依赖于分布 p(x)=xλ0p^(x)+xp^(x)iλifi(x)=倒数第二行 \begin{aligned} \text{倒数第三行}&=\sum_{x}\lambda_0 p(x)+\sum_{x}p(x)\sum_{i}\lambda_i f_i(x)\\ &=\lambda_0+\sum_i\lambda_i\sum_xp(x)f_i(x)\\ &=\lambda_0+\sum_i\lambda_i C_i\qquad\text{不依赖于分布 }p(x)\\ &=\sum_{x}\lambda_0 \hat{p}(x)+\sum_{x}\hat{p}(x)\sum_{i}\lambda_i f_i(x)\\ &=\text{倒数第二行} \end{aligned}

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.4 最小鉴别信息原理

在这里插入图片描述
在这里插入图片描述
距离要满足四个条件:非负性、仅在相等时为0、对称性、满足三角不等式

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.5 最大熵原理的应用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

posted @ 2020-05-06 16:32  winechord  阅读(378)  评论(0编辑  收藏  举报