Decision Tree (决策树算法)

内容总结自花书《deep learning》Chapter5，由英文版翻译而来，英文版可以在其官网免费查阅。同时博主也发明中文翻译版的诸多错误和不细致的地方，建议阅读英文版。

Decision Tree (决策树算法)

与k-nearest neighbors相同，决策树算法及其变种是另一种将输入空间划分成区域，并且每个区域有单独参数的算法。

如上图所示，决策树的每一个结点都和输入空间的一个区域相关联(通常使用一个坐标对齐的割)。空间就这样被分割成互不重叠的区域，叶子结点和输入区域存在一对一的联系。每一个叶子结点会将其输入区域的每一个点映射到相同的输出。

该学习算法在被允许学习出一个任意大小树的条件下可以看作是无参数的，即使在实际中，经常会使用一些大小限制来正则化使得它们变成参数模型。典型的实际使用的决策树，使用坐标对齐的划分和每一个结点内的常数输出，很难处理能被logistic regression轻松解决的一些问题。

nearest neighbor predictors和decision trees有很多限制。但它们在计算资源受限时是非常有帮助的。我们可以通过思考复杂算法与基准线nearest neighbor predictors和decision trees的相似和不同之处，来获得一些直观的理解。