KL散度
参考https://zhuanlan.zhihu.com/p/22464760
1.KL散度为一维高斯分布时:
画图表示式子证明两者的升降关系:
import numpy as np import matplotlib.pyplot as plt x = np.linspace(0.5, 2, 100) y = -np.log(x) + x*x/2 - 0.5 plt.plot(x, y) plt.show()
图为:
2.1.KL散度为多维高斯分布时:(设为n维)
所以最终结果为: