重新理解熵编码
重新理解熵编码
仅作为个人笔记,描述不严谨,已经系统学习《信息论》,用于回顾以及记录一些以前忽略的看法。
熵的理解
所有符号的符号熵求平均即为平均符号熵,也是信源的信息熵。信息熵
编码理解
熵与编码码长
熵是服从某一特定概率分布事件的理论最小平均编码长度
对于具有
因此,对于整个非等概信源来说,其平均码长计算公式与计算信息熵类似:
可以理解为如果熵比较大,意味着这一信息有较多的可能状态,相应的每个状态的可能性比较低,即平均编码长度较长;因此每当来了一个新的信息,我们很难对其作出准确预测,即有着比较大的混乱程度/不确定性/不可预测性。
交叉熵
当我们不知道事件的概率分布,又想计算熵,就需要对熵做一个估计,熵的估计的过程自然而然的引出了交叉熵。在深度学习中,
公式前部分为真实分布
为了减小平均编码长度,一般情况下让交叉熵尽量小,当
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· [翻译] 为什么 Tracebit 用 C# 开发
· Deepseek官网太卡,教你白嫖阿里云的Deepseek-R1满血版
· 2分钟学会 DeepSeek API,竟然比官方更好用!
· .NET 使用 DeepSeek R1 开发智能 AI 客户端
· 刚刚!百度搜索“换脑”引爆AI圈,正式接入DeepSeek R1满血版