KL散度(KL divergence, JS divergence)

在信息论和概率论中,KL散度描述两个概率分布\(P\)\(Q\)之间的相似程度。
定义为:

\[D(p||q)=\sum\limits_{i=1}^np(x)\log\frac{p(x)}{q(x)}. \]

posted @ 2018-10-27 20:03  xiecl  阅读(2261)  评论(0编辑  收藏  举报