KL散度（大部分转载）
摘要：
首先KL散度是一种距离，就是两个熵相减得到的差值。用基于P的编码去编写来自P或Q的样本。让两者相减，得到基于P的编码的P或Q的样本所产生的信息量，也就是基于同一个条件下，两个分布的差异，差异也就是距离。 熵的定义公式中，log函数不局限于固定的底，不同的底对应了熵的不同度量单位。如果以2为底，则熵的 阅读全文
posted @ 2019-12-17 08:39 小句芒 阅读(1028) 评论(0) 推荐(0) 编辑
