熵

熵的定义：无损编码事件信息的最小平均编码长度

事件 $P_i$

编码长度 $-log_2P_i$

发生概率 $P_i$

一个分布的熵的总和

- \sum_{i} P_{i} l o g_{2} (P_{i})

$-\sum_iP_ilog_2(P_i)$

考虑只有预估的概率分布 $Q$

考虑 $Q$ 对于将要发生的 $P$ 进行编码的最小平均长度

即是:

- \sum_{i} P_{i} l o g_{2} (Q_{i})

$-\sum_iP_ilog_2(Q_i)$

因此要最小化这个交叉熵损失，即是最大化 $P$ , $Q$ 的相似程度

二分类的熵:

- [P_{A} l o g_{2} Q_{A} + P_{B} l o g_{2} Q_{B}] P_{A} + P_{B} = 1 Q_{A} + Q_{B} = 1 - [P_{A} l o g_{2} Q_{A} + P_{B} l o g_{2} Q_{B}] = - [P_{A} l o g_{2} Q_{A} + (1 - P_{A}) l o g_{2} (1 - Q_{A})]

$-[P_Alog_2Q_A + P_Blog_2Q_B]\\ P_A + P_B = 1\\ Q_A + Q_B = 1\\ -[P_Alog_2Q_A + P_Blog_2Q_B] = -[P_Alog_2Q_A + (1-P_A)log_2(1-Q_A)]$

posted @ 2023-09-04 19:23 After_rain 阅读(49) 评论(1) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

相关博文：

· 一些常见的二元生成函数

· Lyndon分解

· 熵，交叉熵，Focalloss

· 熵，交叉熵

阅读排行：
· 无需6万激活码！GitHub神秘组织3小时极速复刻Manus，手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· Manus爆火，是硬核还是营销？
· 一文读懂知识蒸馏
· 终于写完轮子一部分：tcp代理了，记录一下

昵称： After_rain
园龄： 5年11个月
粉丝： 6
关注： 21

2025年3月

日

一

二

三

四

五

六

After_rain