摘要： 相对熵（relative entropy）就是 KL 散度（Kullback–Leibler divergence），用于衡量两个概率分布之间的差异。 举个例子：假设我们发现了一些太空蠕虫，这些太空蠕虫的牙齿数量各不相同。现在我们需要将这些信息发回地球。但从太空向地球发送信息的成本很高， 所以我们需 阅读全文