信息论 Han's inequality 的证明

设 $\alpha \subseteq \{X_1,X_2\dots X_n\}$ , $\displaystyle H_k=\binom{n}k^{-1}\sum_{|\alpha| = k}\frac{H(\alpha)}k$ ，那么有 $H_1\geq H_2\ge\dots \ge H_n$

考虑熵的次模性，也就是对于两个集合 A,B， $H(A) + H(B)\ge H(A\cup B) + H(A\cap B)$

次模性证明

假设 $A = C \cup D,B = C\cup E,A\cup B = C \cup D \cup E,A \cap B = C$

引理：如果 $|\alpha| = k+1$ ,记 $x\in \alpha,\alpha_x$ 表示集合 $\alpha$ 删去元素 $x$ 得到的集合，那么下面的不等式成立：

(k + 1) H (α) \leq \sum_{x \in α} H (α_{x})

$\displaystyle (k+1)H(\alpha) \le \sum_{x\in \alpha} H(\alpha_x)$

证明就两边同时乘 $k$ ，于是变为证明 $\displaystyle k(k+1)H(\alpha)\le \sum_{x,y\in \alpha,x\neq y} H(\alpha_x) + H(\alpha_y)$ ，通过次模性一定成立。

回到原命题，证明 $H_{k+1}\le H_k$ 等价于证明 $\displaystyle \frac{k+1}{n-k}\sum_{|\alpha| = k+1}\frac{H(\alpha)}{k+1}\le \sum_{|\alpha|=k} \frac{H(\alpha)}{k}$

使用引理中的不等式放缩 LHS，得到 $\displaystyle\frac{1}{(n-k)(k+1)}\sum_{|\alpha| = k} H(\alpha)\times(n-k)$ ，最后的系数是因为，对于一个 $\alpha$ 而言，如果想要通过添加一个元素变成一个大小为 $|\alpha|+1$ 的集合，方案数是 $n-|\alpha|$ 。