【人工智能导论:模型与算法】信息熵 交叉熵

【人工智能导论:模型与算法】

P124 交叉熵;梯度下降法;学习率

P127 信息熵;信息增益

这几个知识点需要科普一下。梯度下降和学习率在BP部分学习。


交叉熵:度量两个概率分布间的差异性信息。

信息熵:系统有序化程度的一个度量。香农用信息熵的概念来描述信源的不确定度。


信息熵:表示随机变量的不确定性。

条件熵:在一个条件下,随机变量的不确定性。

信息增益: 信息熵 - 条件熵。表示在一个条件下,信息不确定性减少的程度。

信息增益到底怎么理解呢? - 知乎 (zhihu.com)

 

 

posted on   HBU_DAVID  阅读(152)  评论(0编辑  收藏  举报

编辑推荐:
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
· .NET 9 new features-C#13新的锁类型和语义
阅读排行:
· Spring AI + Ollama 实现 deepseek-r1 的API服务和调用
· 《HelloGitHub》第 106 期
· 数据库服务器 SQL Server 版本升级公告
· 深入理解Mybatis分库分表执行原理
· 使用 Dify + LLM 构建精确任务处理应用

导航

点击右上角即可分享
微信分享提示