- 熵:
H(p)=−∑xp(x)logp(x) - 交叉熵:
H(p,q)=−∑xp(x)logq(x) - 相对熵:
KL(p∥q)=−∑xp(x)logq(x)p(x)
- 相对熵(relative entropy)也叫 KL 散度(KL divergence);
- 用来度量两分布之间的不相似性(dissimilarity);
通过交叉熵的定义,连接三者:
1. 简森不等式与 KL散度
因为
这里我们令
也即 KL 散度恒大于等于 0;
通过交叉熵的定义,连接三者:
因为
也即 KL 散度恒大于等于 0;
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步