学习日志-2021.10.11

学习日志-2021.10.11

复习一下机器学习书本第四章内容

决策树

• 基本算法

  这是一个递归的过程，有三种情况会导致递归返回：

  • 当前节点包含的样本全属于同一类别，无需划分
  • 当前属性集为空，或是所有样本在所有属性上取值相同，无法划分
  • 当前结点包含的样本集合为空，不能划分

  输入:训练集 $D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}$

  ​ 属性集 $A=\{a_1,a_2,...,a_d\}$

  过程：函数 TreeGenerate( $D$ , $A$ )

  • 生成结点 node ：
  • if $D$ 中样本全属于同一类别 $C$ then
    • 将 node 标记为 $C$ 类叶结点；return
  • end if
  • if $A=\Phi$ OR $D$ 中样本在 $A$ 上取值相同 then
    • 将 node 标记为叶结点，其类别标记为 $D$ 中样本数最多的类；return
  • end if
  • 从 $A$ 中选择最优划分属性 $a_{\ast }$ ;
  • for $a_{\ast }$ 的每一个值 $a_{\ast }^v$ do
    • 为 node 生成一个分支；令 $D_v$ 表示 $D$ 中在 $a_{\ast }$ 上取值为 $a_{\ast }^v$ 的样本子集；
    • if $D_v$ 为空 then
      • 将分支节点标记为叶结点，其类别标记为 $D$ 中样本最多的类；return
    • else
      • 以 TreeGenerate( $D$ , $A$ \ $\{a_{\ast }\}$ )为分支点
    • end if
  • end for

  输出：以 node 为根节点的一棵决策树

• 划分选择

  • 信息增益

    信息熵：$Ent(D)=-\sum _{k=1}^{|\gamma |}{p}_k{\log }_2{p}_k$

    • $p_k$ 为当前样本集合 $D$ 中第 $k$ 类样本所占的比例 $(k=1,2,...,|\gamma |)$

    $Ent(D)$ 的值越小，则 $D$ 的纯度越高

    信息增益： $Gain(D,a)=Ent(D)-\sum _{v=1}^V\frac{|D_v|}{|D|}Ent(D^v)$

    ​ 假定离散值 $a$ 有可能的取值为 $\{a^1,a^2,...,a^V\}$ ，使用 $a$ 来对样本集进行划分，则会产生V个分支结点。

    • $D^v$ 表示第 $v$ 个分支包含了 $D$ 中所有在属性 $a$ 上取值为 $a^v$ 的样本
    • $\frac{|D_v|}{|D|}$ 表示分支结点的权重

    一般而言，信息增益越大，意味着使用属性 $a$ 来进行划分所获得的“纯度提升”越大。

  • 增益率

    $$Grai{n}_{r}atio(D,a)=\frac{Gain(D,a)}{IV(a)}$$

    其中

    $$IV(a)=-\sum _{v=1}^V\frac{|D_v|}{|D|}{\log }_2\frac{|D_v|}{|D|}$$
    • $IV(a)$ 成为属性 $a$ 的“固有值”。属性 $a$ 的可能取值数目越多，则 $IV(a)$ 的值通常越大。

  • 基尼指数

    • 基尼值

      $$Gini(D)=\sum _{k=1}^{|\gamma |}\sum _{k^{\prime }\ne k}{p}_k{p}_{k^{\prime }}=1-\sum _{k=1}^{|\gamma |}{p}_k^2$$

      直观来说，$Gini(D)$ 反映了从数据集 $D$ 中随机抽取两个样本，其类别标记不一致的概率。即，$Gini(D)$ 越小，则数据集 $D$ 的纯度越高。

    • 基尼指数

      $$Gini\mathrm{\_}index(D,a)=\sum _{v=1}^V\frac{|D^v|}{|D|}Gini(D)$$

      在选择基尼指数最小的属性作为最优化分。

• 剪枝处理

  防止决策树学习算法“过拟合”

  基本策略分为 预剪枝 和 后剪枝

  • 预剪枝：指在决策树生成过程中，对每个结点在划分前先进行评估，若当前结点的划分不能带来决策树泛化性能的提升，则停止划分并将当前节点标记为叶结点。
  • 后剪枝：先从训练集生成一颗完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化能力的提升，则将该子树替换为叶结点。

• 连续与缺失值

  • 连续值处理
    • 上述决策树处理过程是基于离散属性的，在现实问题中常遇到连续值，对此需要将连续属性离散化
    • 最简单的方法是采用二分法对连续属性进行处理
  • 缺失值处理
    • 现实中侦测到的样本数据信息可能存在不完整的情况，为了能够尽量使得样本信息能够尽量被使用，需要对缺失值进行处理