摘要：
参考自：Andrew Moore:http://www.cs.cmu.edu/~awm/tutorials参考文档见：AndrewMoore_InformationGain.pdf1、 信息熵：H(X) 描述X携带的信息量。 信息量越大（值变化越多），则越不确定，越不容易被预测。 对于抛硬币问题，每次有2种情况，信息熵为1 对于投骰子问题，每次有6中情况，信息熵为1.75 下面为公式： 其中log2(p)可以理解为p这个需要用几个bit位表示。如p(x1)=1/2, p(x2)=1/4, p(x3)=1/8, p(x4)=1/8, 可以用x1: 1, x2: ... 阅读全文
