随机森林笔记

随机森林是Bagging思想的代表
本文从视频中摘录出来👉 https://www.bilibili.com/video/BV1BE411Z76D/

Bagging

下图是bagging思想

个体学习器，就是弱学习器。

Bagging的个体学习器可以是SVM,可以是神经网络。

但随机森林特殊在它的个体学习器都是决策树

Bagging的策略如下：

Skelearn中的Bagging

base_estimator可以指定为神经网络、SVM都可以。当然默认是决策树。

袋外样本是因为通过随机抽取，最终是会有30%的数据没有抽取到的。

Sklearn中Bagging常用参数：

分类任务选Classifier，回归任务选Regressor

随机森林

Sklearn中随机森林常用参数：（bagging框架参数）

一般推荐袋外选True，这样可以测试会不会出现过拟合的情况（即适合测试样本的模型，但用其他样本测试就不再适合的情况）

Sklearn中随机森林常用参数：（决策树参数）

这些都是决策树的参数。

还是上面这句话：RandomForestClassifiler是分类任务/RandomForestRegressor是回归任务

**新手不要把线性可分和回归预测搞混在一起。这两个不是一个东西。 **

回归预测不需要你是否线性可分。