KL散度

参考https://zhuanlan.zhihu.com/p/22464760

1.KL散度为一维高斯分布时:

 

 画图表示式子证明两者的升降关系:

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(0.5, 2, 100)
y = -np.log(x) + x*x/2 - 0.5
plt.plot(x, y)
plt.show()

图为:

 

 

2.1.KL散度为多维高斯分布时:(设为n维)

 

 

 

 所以最终结果为:

 

posted @ 2019-09-03 20:48  慢行厚积  阅读(398)  评论(0编辑  收藏  举报