摘要： ## 1. 决策树 ### 熵 在热力学中，熵（entropy）被用来衡量系统的不稳定程度。香农在论文《通信的数学原理》中提出信息熵的概念，目的是*量化数字信息的价值*。 #### 信息熵的定义 香农提出的量化信息方式： $$H(P_1,P_2,\cdots P_n)=-\sum^n_{i=1}P_ 阅读全文