摘要： Monte Carlo： 通过极限情况下的分布关系$\pi (x’) =\sum\limits_{x}{ \pi (x)P(x->x’)} $ 有p(x’)$\approx\sum\limits_{x}{p(x)T(x—>x’)}$ 若T满足regular markov chain的条件，则Monte Carlo方法保证在极限条件下收敛到目标分布。 Regular Markov Chain 转移... 阅读全文

摘要： 自信息量I(x)=-log(p(x))，其他依次类推。 离散变量x的熵H(x)=E(I(x))=-$\sum\limits_{x}{p(x)lnp(x)}$ 连续变量x的微分熵H(x)=E(I(x))=-$\int{p(x)lnp(x)dx} $ 条件熵H(y|x)=-$\int\int{p(x,y)lnp(y|x)dydx}$ 两个变量X和 Y 的联合熵定义为： ... 阅读全文