决策树案例

实现代码：

# -*- coding: utf-8 -*-
"""
Created on Wed Aug 29 14:52:09 2018

@author: zhen
"""
import numpy as np
from sklearn.tree import DecisionTreeRegressor
import matplotlib.pyplot as plt
n = 100
x = np.random.rand(n) * 6 - 3  # 生成100个范围在-3~3的数据
x.sort()  #排序

y = np.sin(x) + np.random.rand(n) + 0.05
x = x.reshape(-1, 1)  #把数据转成任意行一列类型
y = y.reshape(-1, 1)

decision_tree_regressor = DecisionTreeRegressor(criterion='mse', max_depth=3)
decision_tree_regressor.fit(x, y)

x_test = np.linspace(-3, 3, 50).reshape(-1, 1)  # 创建等差数列
y_hat = decision_tree_regressor.predict(x_test)

plt.plot(x, y, "y^", label="actual")
plt.plot(x_test, y_hat, "b-", linewidth=2, label="predict")

plt.legend(loc="upper left")
plt.grid()
plt.show()

# 比较不同深度的决策树
depth = [2, 4, 6, 8, 10]
color = 'rgbmy'
dec_tree_reg = DecisionTreeRegressor()

plt.plot(x, y, "ko", label="actual")
x_test = np.linspace(-3, 3, 50).reshape(-1, 1)
for d, c in zip(depth, color):
    dec_tree_reg.set_params(max_depth=d)
    dec_tree_reg.fit(x, y)
    y_hat = dec_tree_reg.predict(x_test)
    plt.plot(x_test, y_hat, '-', color=c, linewidth=2, label="depth=%d" % d)
    
plt.legend(loc="upper left")
plt.grid(b=True)
plt.show()

结果：

不同深度对预测的影响：

总结：

　　决策树分量算法有构造速度快、结构明显、分类精度高等优点。
决策树是以实例(Instance)为核心的归纳分类方法。
它从一组无序的、无特殊领域知识的数据集中提取出决策树表现形式的分类规则，
包含了分支节点、叶子节点和分支结构。它采用自顶向下的递归方式构造树状结构，
在决策时分支节点进行基于属性值的分类选择，分支节点覆盖了可能的分类结果，
最终分支节点连接了代表分类结果的叶子节点。
分类过程中经过的连接节点代表了一条分类模式，而这些分类模式的集合就组成了决策树的框架。