math-2023-07-21

1、图片截取自《机器学习第二阶段：机器学习经典算法（2）-决策树与随机森林》视频的《2.熵原理形成解读》中04:17，问题是这个熵的计算公式是怎么得来的？溯源到最后的话就是数学期望了，通俗解读可参考：（1）https://blog.csdn.net/L__ear/article/details/100059068，（2）https://www.zhihu.com/tardis/bd/ans/1296806058?source_id=1001。

 

2、图片截取自《机器学习第二阶段：机器学习经典算法（2）-决策树与随机森林》视频的《5.信息增益率》中06:46，信息增益率等于信息增益除以自身熵，为什么是除以自身熵而不是其它？因为自身熵代表分支数，如果分支数越多说明越不纯，那么自身熵越大，如果信息增益在很大的情况下分支数还少，这时选作节点才能达到更好的效果，而仅靠信息增益这一个指标进行判断是不靠谱的 （例如某一特征下分支很多但每个分支所带信息数很少只有零星几个）。