小啃机器学习（1）-----ID3和C4.5决策树
第一部分：简介
ID3和C4.5算法都是被Quinlan提出的，用于分类模型，也被叫做决策树。我们给一组数据，每一行数据都含有相同的结构，包含了一系列的attribute/value对。 其中一个属性代表了记录的类别。决策树的问题是对那些没有类别属性的记录预测出正确的类别。一般，类别属性取值为true或者false，yes或者no，success或者faliure。
举例来看，我们这有一些数据是是否打高尔夫球和天气条件的关系。类别属性是是否打高尔夫。非类别属性具体如下：
ATTRIBUTE | POSSIBLE VALUES
============+=======================
outlook | sunny, overcast, rain
------------+-----------------------
temperature | continuous
------------+-----------------------
humidity | continuous
------------+-----------------------
windy | true, false
============+=======================
训练数据如下：
OUTLOOK | TEMPERATURE | HUMIDITY | WINDY | PLAY
=====================================================
sunny | 85 | 85 | false | Don't Play
sunny | 80 | 90 | true | Don't Play
overcast| 83 | 78 | false | Play
rain | 70 | 96 | false | Play
rain | 68 | 80 | false | Play
rain | 65 | 70 | true | Don't Play
overcast| 64 | 65 | true | Play
sunny | 72 | 95 | false | Don't Play
sunny | 69 | 70 | false | Play
rain | 75 | 80 | false | Play
sunny | 75 | 70 | true | Play
overcast| 72 | 90 | true | Play
overcast| 81 | 75 | false | Play
rain | 71 | 80 | true | Don't Play
考虑到5个非类别属性中，有2个是连续值，Temperature and Humidity，ID3算法没有直接处理这样的情况，我们需要C4.5里面来思路来处理这种情况，它是ID3的扩展。
一个决策树最重要的不是它总结了我们本身所知道的，而是我们期望它能对新的case可以预测准确。
ID3背后的基本含义是：
- 在决策树中，每一个节点对应一个非类别属性，每一条弧线对应那个属性可能的值，每一个叶子代表了类别属性的期望值，通过根节点到叶子节点的路径。
- 在决策树中，从根节点开始每一个节点必须是最有信息量的节点。
- 熵是衡量一个节点信息量的方法。
第二部分：ID3的定义
通常，我们给一个类别结果的一个概率分布P = (p1, p2, .., pn)，这个分布传达的信息量也被为P的熵，为：
I(P) = -(p1*log(p1) + p2*log(p2) + .. + pn*log(pn))
举例，比如P=(0.5,0.5)，那么I(P)=1，如果P=(0.67, 0.33)，那么I(P)=0.92，P=(1,0)，那么I(P)=0。分布越均匀，熵越大。
我们根据非类别属性X的值进行分割为T1，T2...，Info(X,T) = Sum for i from 1 to n of ----(|Ti|/|T|) * Info(Ti)。
以上面的是否打高尔夫球为例，以outlook属性进行分割，Info(Outlook,T) = 5/14*I(2/5,3/5) + 4/14*I(4/4,0) + 5/14*I(3/5,2/5) = 0.694。
信息增益为，Gain(X,T) = Info(T) - Info(X,T)。这个信息增益代表的意思是，在有和没有属性X值的上信息量的不同。
在Outlook属性上，Gain(Outlook,T) = Info(T) - Info(Outlook,T) = 0.94 - 0.694 = 0.246。同理，Info(Windy,T) = 0.892 and Gain(Windy,T) = 0.048。
Gain(Outlook,T)>Gain(Windy,T)，说明可以带来更大的信息增益。我们用信息增益来对属性值进行rank排序，来作为首先决策的节点。
第三部分：ID3算法
ID3算法用来构建决策树，给你一些非分类的属性C1，C2...Cn，一个分类的属性C；一个训练集T；
function ID3 (R: a set of non-categorical attributes,
C: the categorical attribute,
S: a training set) returns a decision tree;
begin
If S is empty, return a single node with value Failure;
If S consists of records all with the same value for
the categorical attribute,
return a single node with that value;
If R is empty, then return a single node with as value
the most frequent of the values of the categorical attribute
that are found in records of S; [note that then there
will be errors, that is, records that will be improperly
classified];
Let D be the attribute with largest Gain(D,S)
among attributes in R;
Let {dj| j=1,2, .., m} be the values of attribute D;
Let {Sj| j=1,2, .., m} be the subsets of S consisting
respectively of records with value dj for attribute D;
Return a tree with root labeled D and arcs labeled
d1, d2, .., dm going respectively to the trees
ID3(R-{D}, C, S1), ID3(R-{D}, C, S2), .., ID3(R-{D}, C, Sm);
end ID3;
在高尔夫的例子中，我们构建了下面的决策树：
Outlook
/ | \
/ | \
overcast / |sunny \rain
/ | \
Play Humidity Windy
/ | | \
/ | | \
<=75 / >75| true| \false
/ | | \
Play Don'tPlay Don'tPlay Play
第四部分：使用信息增益率
观念是信息增益会导致偏爱那些包含很多值的属性，举一个极端例子，如果我们有一个属性，它的每一条记录的属性值都不同，那么Info(D,T) = 0，但是G(D,T) = 最大。所以，Quinlan建议我们用信息增益率来代替信息增益。
GainRatio(D,T) = Gain(D,T) / SplitInfo(D,T)。而SplitInfo(D,T)代表属性值D的基础上分类T的信息，SplitInfo(D,T) = I(|T1|/|T|, |T2|/|T|, .., |Tm|/|T|)。以高尔夫为例子，SplitInfo(Outlook,T) = -5/14*log(5/14) - 4/14*log(4/14) - 5/14*log(5/14) = 1.577。那么GainRatio(Outlook,T) = 0.246/1.577 = 0.156。
第五部分：C4.5扩展
C4.5是ID3算法的一个扩展。改进地点有：
1）根据信息增益率来选择属性。用来克服了ID3用信息增益选择属性时偏向选择取值多的属性的不足。
2）在树构造过程中进行剪枝，在构造决策树的时候，那些挂着几个元素的节点，不考虑最好，不然容易导致overfitting。
3）对非离散数据也能处理。
4）能够对不完整数据进行处理。
