摘要： 整理自：https://mp.weixin.qq.com/s/LGyNq3fRlsRSatu1lpFnnw 南大周志华老师的西瓜书—第四章 公式 信息增益是决策树ID3算法在进行特征切割时使用的划分准则，其物理意义和互信息完全相同，并且公式也是完全相同。 其中D表示数据集，A表示特征，信息增益表示得 阅读全文

摘要： 整理自：https://mp.weixin.qq.com/s/LGyNq3fRlsRSatu1lpFnnw 问题：熵是什么？熵存在的意义是啥？为什么叫熵？ 答案：在机器学习中熵是表征随机变量分布的混乱程度，分布越混乱，则熵越大，在物理学上表征物质状态的参量之一，也是体系混乱程度的度量； 熵存在的意义 阅读全文

摘要： 整理自：https://mp.weixin.qq.com/s/LGyNq3fRlsRSatu1lpFnnw 自信息是熵的基础，理解它对后续理解各种熵非常有用。自信息表示某一事件发生时所带来的信息量的多少，当事件发生的概率越大，则自信息越小，或者可以这样理解：某一事件发生的概率非常小，但是实际上却发生 阅读全文