决策树学习笔记

决策树

概念

希望根据样本的若干个特征对其进行分类。

决策树是一种判别模型。

特征： $X_1,X_2...X_m,Y$

样本： $x_1,x_2..x_n$

可以进行二分类也可以进行多分类。一般来说使用决策树的时候特征取值都是离散的。最终想要学习到的是特征和标签之间的关系。

\begin{matrix} X_{1} & X_{2} & . . . & Y \\ x_{1} & 1 & 0 & . . . & 1 \\ x_{2} & 0 & 1 & . . . & 0 \\ . . . \end{matrix}

$\begin{matrix} &X_1&X_2&...&Y\\ x_1&1&0&...&1\\ x_2&0&1&...&0\\...\\ \end{matrix}$

现在从列的角度出发，可能存在某一个特征，对于分类的作用大于其他的特征。考虑使用树，从根节点进行二分。设 $x_1$ 为我们所选的对于分类作用最大的特征，把它作为根节点， $x_1$ 取1的样本放到左边， $x_1$ 取0的样本放到右边。同样对于其儿子，又可以选择分类作用次大的特征继续进行分类，注意，对于同层的节点，不一定选择相同的特征，而是应该选择分类效果最好的那个特征。不断分类下去直到叶子节点停止分类。叶子节点的样本的标签相同。

熵

设 $\Omega$ 为概率空间，存在两个离散的随机变量 $X,Y$ 。 $X$ 取 $x_1,x_2...x_n$ ， $Y$ 取 $y_1,y_2...y_m$ 。

定义 $P(X=x_i)=p(x_i)$ ， $P(Y=y_j)=p(y_j)$ 。根据全概率公式， $\Sigma_{i=1}^n p(x_i)=1$ ， $\Sigma_{j=1}^m p(y_j)=1$ 。

现在来看他们的联合分布： $P(X=x_i,Y=y_j)=p(x_i,y_j)$

$X$ 的边缘分布： $p(x_i)=\Sigma_{j=1}^m p(x_i,y_j)$ 。

条件概率： $P(X=x_i|Y=y_j)=\frac{P(X=x_i,Y=y_j)}{P(Y=y_j)}=\frac{p(x_i,y_j)}{p(y_j)}=p(x_i|y_j)$ 。

$H(X)=-\Sigma_{i=1}^np(x_i)logp(x_i)=\Sigma_{i=1}^np(x_i)log(\frac{1}{p(x_i)})>=0$

那么熵什么时候等于0呢？ $p(x_1)=1,p(x_i)=0(i>1)$ 。

那么熵是否存在极大值呢？是否能趋向正无穷呢？注意到 $p(x_i)$ 的和是1， $H(x)\leq log\Sigma_{i=1}^np(x_i)\frac{1}{p(x_i)}=logn$ 。

注意这里的不等式实际上是根据琴声不等式得来的。

因此可以得到熵的范围： $[0, logn]$

条件熵： $H(X|Y)=-\Sigma_{j=1}^m p(y_j) (\Sigma_{i=1}^n p(x_i|y_i)log(p(y_i|x_i)))$

$H(X)-H(X|Y)=-\Sigma_{i=1}^n p(x_i)logp(x_i)+\Sigma_{j=1}^m p(y_j) (\Sigma_{i=1}^n p(x_i|y_i)log(p(y_i|x_i)))\\=-\Sigma_{i=1}^n p(x_i)logp(x_i)+\Sigma_{j=1}^m \Sigma_{i=1}^np(x_i,y_j)log\frac{p(x_i,y_j)}{p(y_j)}\\=....=\Sigma_{i=1}^n\Sigma_{j=1}^m p(x_i,y_j)log\frac{p(x_i,y_j)}{p(x_i)p(y_j)}$

有 $H(Y)-H(Y|X)=H(X)-H(X|Y)$ 。信息增益？
$X,Y$ 独立，有 $p(x_i,y_i)=p(x_i)p(y_i)$ ， $H(X)-H(X|Y)=0$ 。给出Y判断X或者给出X判断Y是没有增益的，因为两者独立。
利用凹函数的性质，可以知道信息增益大于等于0。

决策树建立

先从根节点开始，计算熵。

令 $D_0=|\{Y=0\}|$ ， $D_1=|\{Y=1\}|$

$H(Y)=-\frac{D_0}{n}log\frac{D_0}{n}$

令 $D_{00}=|\{X_1=0,Y=0\}|$ .... $D_{11}$ ， $|\{X_1=0\}|=D_{00}+D_{01}$ ...

$H(Y|X_1)=-\frac{D_{00}+D_{01}}{n}[\frac{D_{00}}{D_{00}+D_{01}}log\frac{D_{00}}{D_{00}+D_{01}}+\frac{D_{01}}{D_{00}+D_{01}}log\frac{D_{01}}{D_{00}+D_{01}}]-\frac{D_{10}+D_{11}}{n}[\frac{D_{10}}{D_{10}+D_{11}}log\frac{D_{10}}{D_{00}+D_{11}}+\frac{D_{11}}{D_{10}+D_{11}}log\frac{D_{11}}{D_{10}+D_{11}}]$