两个高斯分布的KL散度其实很简单,只要找到合适的方法。
一. 一维高斯分布KL散度的定义为:
第一项很简单,用全积分为1的性质即可:
第二项需要分辨出积分项为方差:
第三项的积分内部分别是均方值、均值和常数,因此可以得到:
也可以用一个小技巧来化简,其中第一项为方差,第二项为奇函数全积分为0,第三项为常数可以提取为系数:
整理最终结果,两个高斯分布的KL散度为: