随机森林

随机森林

随机森林是一种比较新的机器学习模型。

概述

2001年Breiman把分类树组合成随机森林（Breiman 2001a）。即，在变量（列）的使用和数据（行）的使用上进行随机化，生成很多分类树，再汇总分类树的结果。
随机森林在运算量没有显著提高的前提下提高了预测精度。
随机森林对多元公线性不敏感，结果对缺失数据和非平衡的数据比较稳健，可以很好地预测多达几千个解释变量的作用（Breiman 2001b），被誉为当前最好的算法之一（Iverson et al. 2008）。

随机森林顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。
在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。

随机森林主要应用于回归和分类

随机森林基本原理

1 从原始训练样本集N中有放回地重复随机抽取k个样本生成新的训练样本集合 。

随机森林的优点

• 两个随机性的引入，使得随机森林不容易陷入过拟合。
• 两个随机性的引入，使得随机森林具有很好的抗噪声能力
• 既能处理离散型数据，也能处理连续型数据，数据集无需规范化。（对数据集的适应能力强）
• 训练速度快，实现比较简单 、 容易做成并行化方法
• 在训练过程中，能够检测到feature间的互相影响
• 在创建随机森林的时候，对generlization error使用的是无偏估计
• 可生成一个Proximities=（pij）矩阵，用于度量样本之间的相似性： pij=aij/N, aij表示样本i和j出现在随机森林中同一个叶子结点的次数，N随机森林中树的颗数