【学习笔记】CART算法

1. 背景介绍

CART（Classification and Regression Trees，分类回归树）算法是一种树构建算法，既可以用于分类，也可以用于回归。它的工作原理是：使用二元切分来处理连续型变量。

 

2. 使用Python构建CART树

2.1 读取数据

#读取文件数据，tab键为分隔符，将每行内容映射成一组浮点数:
def loadDataSet(fileName):
    dataMat = []
    fr = open(fileName)
    #依次读取每一行:
    for line in fr.readlines():
        #读取数据的规则，line.strip()去掉每行头尾空白，split()通过指定分隔符对字符串进行切片:
        curLine = line.strip().split('\t')
        #统一数据格式，map()根据提供的函数对指定序列做映射:
        fltLine = list(map(float, curLine))
        #录入数据，append()依次在列表末尾添加新的对象:
        dataMat.append(fltLine)
    return dataMat

2.2 切分数据集

#切分数据集，通过数组过滤方式切分为两个子集:
def binSplitDataSet(dataSet, feature, value):#数据集 待切分特征 特征值
    #nonzero()返回输入数组中非零元素的索引
    #dataSet[:,feature]返回dataSet矩阵中所有行的feature列的值
    #nonzero(dataSet[:,feature] > value)[0] = 1，由于索引值数组从两个维度上来描述矩阵索引值，所以第一个数组为行维度，第二个数组为列维度
    #mat0 = [1,:]返回矩阵第二行的所有列
    #mat1 = [[0,2,4],:]返回矩阵第一、三、四行的所有列
    mat0 = dataSet[nonzero(dataSet[:,feature] > value)[0],:]
    mat1 = dataSet[nonzero(dataSet[:,feature] <= value)[0],:]
    return mat0, mat1