使用Python从头开始手写回归树

在本篇文章中，我们将介绍回归树及其基本数学原理，并从头开始使用Python实现一个完整的回归树模型。

为了简单起见这里将使用递归来创建树节点，虽然递归不是一个完美的实现，但是对于解释原理他是最直观的。

首先导入库

1. import pandas as pd
2. import numpy as np
3. import matplotlib.pyplot as plt

首先需要创建训练数据，我们的数据将具有独立变量（x）和一个相关的变量（y），并使用numpy在相关值中添加高斯噪声，可以用数学表达为

这里的𝜖 是噪声。代码如下所示。

1. def f(x):
2. mu, sigma = 0, 1.5
3. return -x**2 + x + 5 + np.random.normal(mu, sigma, 1)
5. num_points = 300
6. np.random.seed(1)
8. x = np.random.uniform(-2, 5, num_points)
9. y = np.array( [f(i) for i in x] )
11. plt.scatter(x, y, s = 5)

回归树

在回归树中是通过创建一个多个节点的树来预测数值数据的。下图展示了一个回归树的树结构示例，其中每个节点都有其用于划分数据的阈值。

给定一组数据，输入值将通过相应的规格达到叶子节点。达到节点M的所有输入值可以用X的子集表示。从数学上讲，让我们用一个函数表达此情况，如果给定的输入值达到节点M，则可以给出1个，否则为0。

找到分裂数据的阈值：通过在每个步骤中选择2个连续点并计算其平均值来迭代训练数据。计算的平均值将数据分为两个的阈值。

首先让我们考虑随机阈值以演示任何给定的情况。

1. threshold = 1.5
3. low = np.take(y, np.where(x < threshold))
4. high = np.take(y, np.where(x > threshold))
6. plt.scatter(x, y, s = 5, label = 'Data')
7. plt.plot([threshold]*2, [-16, 10], 'b--', label = 'Threshold line')
8. plt.plot([-2, threshold], [low.mean()]*2, 'r--', label = 'Left child prediction line')
9. plt.plot([threshold, 5], [high.mean()]*2, 'r--', label = 'Right child prediction line')
10. plt.plot([-2, 5], [y.mean()]*2, 'g--', label = 'Node prediction line')
11. plt.legend()

蓝色垂直线表示单个阈值，我们假设它是任意两点的均值,并稍后将其用于划分数据。

我们对这个问题的第一个预测是所有训练数据(y轴)的平均值(绿色水平线)。而两条红线是要创建的子节点的预测。

很明显这些平均值都不能很好地代表我们的数据，但它们的差异也是很明显的：主节点预测(绿线)得到所有训练数据的均值，我们将其分为2个子节点，这2个子节点有自己的预测(红线)。与绿线相比这2个子节点更好地代表了它们对应的训练数据。回归树就是将不断地将数据分成2个部分——从每个节点创建2个子节点，直到达到给定的停止值（这是一个节点所能拥有的最小数据量）。它会提前停止树的构建过程，我们将其称为预修剪树。

为什么会有早停的机制？如果我们要继续进行分配直到节点只有一个值是，这创建一个过度拟合的方案，每个训练数据都只能预测自己。

说明：当模型完成时，它不会使用根节点或任何中间节点来预测任何值;它将使用回归树的叶子(这将是树的最后一个节点)进行预测。

为了得到最能代表给定阈值数据的阈值，我们使用残差平方和。它可以在数学上定义为

完整文章：

https://avoid.overfit.cn/post/68d76a2540894366bb7033ff120a30d6