【人工智能导论:模型与算法】信息熵 交叉熵
【人工智能导论:模型与算法】
P124 交叉熵;梯度下降法;学习率
P127 信息熵;信息增益
这几个知识点需要科普一下。梯度下降和学习率在BP部分学习。
交叉熵:度量两个概率分布间的差异性信息。
信息熵:系统有序化程度的一个度量。香农用信息熵的概念来描述信源的不确定度。
信息熵:表示随机变量的不确定性。
条件熵:在一个条件下,随机变量的不确定性。
信息增益: 信息熵 - 条件熵。表示在一个条件下,信息不确定性减少的程度。
分类:
AI
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
· .NET 9 new features-C#13新的锁类型和语义
· Spring AI + Ollama 实现 deepseek-r1 的API服务和调用
· 《HelloGitHub》第 106 期
· 数据库服务器 SQL Server 版本升级公告
· 深入理解Mybatis分库分表执行原理
· 使用 Dify + LLM 构建精确任务处理应用