[Medical Image] 图像中用到的信息论中的一些概念公式

1 熵

1.1 香农熵（Shannon Entropy）#

用来描述信息量的多少,随机变量不确定性的度量（metric），给定一个随机变量$X,p(x)=Pr\{X=x\},x\in\omega$

$$H(X)= -\sum_{x\in\omega}{p(x)log_2p(x)}$$

1.2 联合熵（Joint Entropy）#

衡量一对随机变量所包含的信息量，两个随机变量联合不确定性的度量,联合熵描述了随机变量的相关性，越小越相关$(X,Y)$及联合分布$p(x,y)$

$$H(X,Y) = -\sum_{x\in X}\sum_{y\in Y}{p(x,y)log_2p(x,y)}$$

1.3 条件熵（Conditional Entropy）#

已知$Y$随机变量的前提下，随机变量$X$提供的信息量，依据$p(x|y)=p(x,y)/p(y)$

$$\begin{aligned} H(X|Y) &= -\sum_{x\in X}\sum_{y\in Y}{p(x,y)log_2p(x|y)}\\ &=-\sum_{x\in X}\sum_{y\in Y}{p(x,y)log_2p[(x,y)/p(y)]}\\ &=H(X,Y)-H(Y) \end{aligned}$$

对于联合分布和边缘分布，把$X$或$Y$的熵称作边缘熵，于是有

$$H(Y|X)=H(X,Y)-H(X)\\ H(X,Y) = H(Y|X)+H(X)=H(X|Y)+H(Y)$$

1.4 累计剩余熵（Cumulative Residual Entropy，CRE）#

将香农熵定义中的概率分布换成累计概率分布

$$\epsilon(X)=-\sum_{X\in X}P(X>x)logP(X>x)$$

1.5 瑞利熵（RE）#

瑞利熵时香浓熵的一种推广形式，又称作$\alpha$熵

$$R_\alpha(X)=\frac{1}{1-\alpha}log\sum_{x\in X}p(x)^\alpha \quad (\alpha>0,\alpha\not ={1})$$

当$\alpha \to 1$，求得瑞利熵的极限为香农熵，求极限也很简单，利用洛必达法则即可求得即可

2 相似性度量

2.1 互信息（Mutual Information，MI）#

互信息衡量随随机变量$X,Y$之间的依赖程度，用来测量联合概率分布和二者完全独立时的分布之间的距离，使用KL散度（或称为相对熵）来定义

$$MI(X,Y)=\sum_x\sum_y{p(x,y)=log\frac{p(x,y)}{p(x)\cdot p(y)}}$$

互信息、联合熵、边缘熵、条件熵之间有紧密的关系

$$\begin{aligned} MI(x,y) &= H(X)+H(Y)-H(X,Y)\\ &=H(X)-H(X|Y)\\ &=H(Y)-H(Y|X) \end{aligned}$$

互信息表示$X$中包含$Y$的信息的多少，也是对称的$Y$中包含$X$的多少。若$X,Y$独立则$I(X,Y)=0$,若一一相关，则$I(X,Y)=H(X)=H(Y)$

2.2 归一化互信息（Normalized Mutual Information，NMI）#

为了解决互信息对图像部分重叠区域的敏感性，提出了NMI

$$NMI(X,Y)=\frac{H(X)+H(Y)}{H(X,Y)}$$

2.3 熵相关系数（Entropy Correlation Coefficient，ECC）#

可以看作另一种归一化互信息

$$\begin{aligned} ECC(X,Y) &=\frac{2I(X,Y)}{H(X)+H(Y)}\\ &=2-\frac{2}{NMI} \end{aligned}$$

2.4 互累计剩余熵（Cross Cumulative Residual Entropy，CRE）#

和互信息类似，只不过这里的熵换成了累计剩余熵

$$CCRE(X,Y)=\epsilon(X)-E[\epsilon(Y|X)]$$

2.5 Alpha互信息（Alpha Mutual Information，$\alpha-MI$）#

根据$\alpha$熵得出$\alpha$熵

$$D_\alpha(X,Y)=\frac{1}{\alpha -1}log\sum_{x\in X}\sum_{y\in Y}p(x,y)^\alpha(p(x)p(y))^{1-\alpha}$$

2.6 相对熵（KL散度）#

相对熵也称作为KL散度，可以衡量两个分布之间的差异,$p,q$是$X$上的两个分布

$$D_{KL}(p||q)=\sum{p(x)log\frac{p(x)}{q(x)}}$$

2.7 交叉熵#

是KL散度的一部分

$$H(p,q)= \sum_{x\in X}p(x)log(q(x))$$

2.8 詹森香农散度（JS散度）#

因为KL散度不对称，所以提出了JS散度

$$JS(p||q)=\frac{1}{2}D_{KL}(p||\frac{p+q}{2})+\frac{1}{2}D_{KL}(q||\frac{p+q}{2})$$

2.9 詹森瑞利散度#

$$JR_\alpha^\omega(X,Y)=R_\alpha(Y)-\sum_{x\in X}p(x)R_\alpha(Y|x)$$