高斯分布的KL散度

两个高斯分布的KL散度其实很简单,只要找到合适的方法。

一. 一维高斯分布
KL散度的定义为:

 

 第一项很简单,用全积分为1的性质即可:

 

 第二项需要分辨出积分项为方差:

 

 第三项的积分内部分别是均方值、均值和常数,因此可以得到:

 

 也可以用一个小技巧来化简,其中第一项为方差,第二项为奇函数全积分为0,第三项为常数可以提取为系数:

 

 整理最终结果,两个高斯分布的KL散度为:

 

posted @ 2021-12-31 15:34  咖啡陪你  阅读(829)  评论(0编辑  收藏  举报