【机器学习与深度学习理论要点】15. 什么是决策树？决策树的特点及使用情况

目录

1）什么是决策树？

决策树的核心思想是：相似的输入必然产生相似的输出。决策树通过把数据样本分配到树状结构的某个叶子节点来确定数据集中样本所属的分类。决策树可用于回归和分类。当用于回归时，预测结果为叶子节点所有样本的均值。

2）决策树的特点

①优点

• 简单易懂，容易解释，可视化，适用性广。
• 可用于分类、回归问题。

②缺点

• 容易过拟合。
• 数据中的小变化会影响结果，不稳定。
• 每一个节点的选择都是贪婪算法，不能保证全局最优解。

3）什么情况下使用决策树？

• 适合于标称型（在有限目标集中取值）属性较多的样本数据。
• 具有较广的适用性，当对模型不确定时可以使用决策树进行验证。

4）随机森林

随机抽取部分样本和随机抽取部分特征相结合构建多颗决策树，这样不仅削弱了强势样本对预测结果的影响，同时削弱了强势特征的影响，提高了模型的泛化能力。

作者：野哥李
微信公众号：AI算法学习社
欢迎任何形式的转载，但请务必注明出处。
限于本人水平，如果文章和代码有表述不当之处，还请不吝赐教。
本文章不做任何商业用途，仅作为自学所用，文章后面会有参考链接，我可能会复制原作者的话，如果介意，我会修改或者删除。