熵的简单解释(科班同学勿入)
个人理解,专业人士笑一下就好了。
熵越小,信息量越大,越不稳定。举个例子,公司年会抽奖,假设有四个球ABCD,只有一个球是10万元现金奖。负责抽奖系统的是吃喝玩乐的狗肉朋友。
(1)朋友偷偷的告诉你:A的中奖概率25%,B的中奖概率25%,C的中奖概率25%,D的中奖概率25%。这朋友是不是太不厚道哦?为啥?
朋友提供的信息,惊喜度很小,也就是分布非常稳定,信息量很少(和没说一样),这个时候给出的信息很混乱,完全没有确定度,也就是熵值很大。
(2)朋友说:A的中奖概率1%,B的中奖概率1%,C的中奖概率97%,D的中奖概率1%
狗肉没有白吃呀:信息量巨大,熵值接近0。
熵的减小代表着进化,同时需要外界能量介入。熵最初是在热力学出现的,现在也用于很多领域。
据说华为任正非很喜欢熵理论,有本书:《熵减:华为活力之源 华为内训书系》推荐大家看看。
再从数学上解释熵:
公式:
假设有5个数据:true,false,true,false,true
上面有3个true(比例0.6),2个false(比例0.4),则数据集的熵值:
- 0.6 * log(0.6)/log(2) - 0.4 * log(0.4)/log(2) = 0.9709505944546686
这个熵值有些大了,除以log是底数为e的缘故,转为log2
再看看:(下面的l函数就是log函数),以下求单类数据的信息值:
-0.01 * l(0.01)/l(2) = .06643856189774724695
-0.1 * l(0.1)/l(2) = .33219280948873623478
-0.2 * l(0.2)/l(2) = .46438561897747246957
-0.4 * l(0.4)/l(2) = .52877123795494493914
-0.6 * l(0.6)/l(2) = .44217935649972369984
-0.99 * l(0.99)/l(2) = .01435457399816392585
函数图像:
工具来自:https://zh.numberempire.com/graphingcalculator.php
可以看看:https://www.cnblogs.com/shihuajie/p/5801408.html
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 没有源码,如何修改代码逻辑?
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战