Loading [Contrib]/a11y/accessibility-menu.js

相对熵(KL散度)

 


https://zhuanlan.zhihu.com/p/37452654

https://blog.csdn.net/weixinhum/article/details/85064685

交叉熵和相对熵

相对熵(KL散度)

KL 散度:衡量每个近似分布与真实分布之间匹配程度的方法:

\[D_{K L}(p \| q)=\sum_{i=1}^{N} p\left(x_{i}\right) \log \left(\frac{p\left(x_{i}\right)}{q\left(x_{i}\right)}\right) \]

其中 q(x) 是近似分布,p(x) 是我们想要用 q(x) 匹配的真实分布。直观地说,这衡量的是 给定任意分布偏离真实分布的程度。如果两个分布完全匹配,那么

\[D_{K L}(p \| q)=0 \]

,否则它的取值应该是在 0 到无穷大(inf)之间。KL 散度越小,真实分布与近似分布之间的匹配就越好

交叉熵

posted @   douzujun  阅读(432)  评论(0编辑  收藏  举报
编辑推荐:
· 智能桌面机器人:用.NET IoT库控制舵机并多方法播放表情
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
阅读排行:
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· 新年开篇:在本地部署DeepSeek大模型实现联网增强的AI应用
· 程序员常用高效实用工具推荐,办公效率提升利器!
· Janus Pro:DeepSeek 开源革新,多模态 AI 的未来
· 【译】WinForms:分析一下(我用 Visual Basic 写的)
历史上的今天:
2017-11-26 在GitHub搭建个人博客 地址: https://douzujun.github.io/
点击右上角即可分享
微信分享提示