AD_milk

摘要： ID3决策树 自信息 \[ I(x)=-log_bp(x) \] 可以先把自信息理解成跟米，公顷一样的一种单位，不必在这纠结 信息熵 度量随机变量 $X$的不确定性，信息熵越大越不确定 \[ H(x) = E[I(X)] = -\sum_xp(x)log_bp(x)\tag{以离散型为例} \] 在 阅读全文