KL散度非负性证明

1 KL散度

　　KL散度(Kullback–Leibler divergence) 定义如下：

　　　　$D_{K L}=\sum\limits_{i=1}^{n} P\left(x_{i}\right) \times \log \left(\frac{P\left(x_{i}\right)}{Q\left(x_{i}\right)}\right)$

　　目标：证明上式非负。

　　PS：信息论基础可以参考《机器学习——信息论基础》

2 凸函数与凹函数

　　连续函数 $f(x)$ 的定义域为 $I$ ，如果对 $I$ 内任意两个实数 $x_{1}$ ， $x_{2}$ 及任意实数 $\lambda \in(0,1)$ ，都有

　　　　$f\left(\lambda x_{1}+(1-\lambda) x_{2}\right) \leq \lambda f\left(x_{1}\right)+(1-\lambda) f\left(x_{2}\right) \quad  \quad \quad (1)$
　　则称 $f(x)$  为 $I $ 上的凸函数（下凸）。
　　若有
　　　　$f\left(\lambda x_{1}+(1-\lambda) x_{2}\right) \geq \lambda f\left(x_{1}\right)+(1-\lambda) f\left(x_{2}\right) \quad  \quad \quad (2)$
　　则称 $f(x)$  为 $I$  上的凹函数（上凹）。

　　举例：

　　　　$log(x)$ 是凹函数，反之$-log(x)$ 是凸函数。

3 加权Jensen不等式

　　若  $f(x)$  是区间  $[a, b]$  上的凸函数，则对任意的实数  $x_{1}, x_{2}, \cdots, x_{n} \in[a, b]  $，对所有非负实数  $a_{1}, a_{2}, \cdots a_{n} \geq 0$ ，  且  $a_{1}+a_{2}+\cdots+a_{n}=1 $ ，则下列不等式成立。

　　　　$f\left(a_{1} x_{1}+a_{2} x_{2}+\cdots+a_{n} x_{n}\right) \leq a_{1} f\left(x_{1}\right)+a_{2} f\left(x_{2}\right)+\cdots+a_{n} f\left(x_{n}\right)$

4 证明KL散度非负性

　　KL散度(Kullback–Leibler divergence) 定义如下：

　　　　$D_{K L}=\sum\limits_{i=1}^{n} P\left(x_{i}\right) \times \log \left(\frac{P\left(x_{i}\right)}{Q\left(x_{i}\right)}\right)$

　　其中：

　　　　$\sum \limits_{i=1}^{n} P\left(x_{i}\right)=1$

　　由于 $\log (x)$ 是凹函数，所以$-\log (x)$ 是凸函数，因此将 KL散度定义式先变形再应用加权Jensen不等式，得：

　　　　$\begin{array}{l}D_{K L}&=\sum\limits_{i=1}^{n} P\left(x_{i}\right) \times \log \left(\frac{P\left(x_{i}\right)}{Q\left(x_{i}\right)}\right)\\ &=\sum\limits_{i=1}^{n} P\left(x_{i}\right) \times\left(-\log \left(\frac{Q\left(x_{i}\right)}{P\left(x_{i}\right)}\right)\right) \\&\geq-\log \left(\sum\limits_{i=1}^{n} P\left(x_{i}\right) \times \frac{Q\left(x_{i}\right)}{P\left(x_{i}\right)}\right)\\&=-\log \left(\sum\limits_{i=1}^{n} Q\left(x_{i}\right)\right)\end{array}$

　　Tips：Jensen不等式中的 $x_i$ 在这里相当于 $\frac{P\left(x_{i}\right)}{Q\left(x_{i}\right)}$； $f $ 相当于 $-\log()$ ；$a_i$ 相当于 $P\left(x_{i}\right)$ 。

　　由于 $Q\left(x_{i}\right)$ 是一个概率分布，因此和  $P\left(x_{i}\right)$ 一样满足下面的式子 $\sum\limits _{i=1}^{n} Q\left(x_{i}\right)=1$ 
　　因此可以得到
　　　　$D_{K L} \geq-\log (1)=0$

　　到此KL散度非负性得证。