深度学习课程笔记（五）Ensemble

深度学习课程笔记（五）Ensemble 

2017.10.06

材料来自：

 

首先提到的是 Bagging 的方法：

我们可以利用这里的 Bagging 的方法，结合多个强分类器，来提升总的结果。例如：

通过这种求平均的方法，可以得到更加接近 真实值的输出。

我们可以对训练数据集进行随机采样，构建四个子数据集，然后分别对这些数据进行分类器的训练，得到多个强分类器。

上面是训练的情况，当测试的时候，我们可以将多个分类器的结果综合起来，得到最终的结果。

==>> 这些方法在你的模型比较复杂，容易过拟合的时候，才更有效果，如：决策树。。。

随机森林，就是决策树做 bagging 之后的版本。这里，大致讲解了什么是决策树。

这里，给了一个例子，来说明下决策树。比如说，我们用决策树来做二分类的问题。

我们来看看结果，我们知道，随着树的深度增加，其效果变的非常好了，甚至可以做到在 training data 上的 error 为 0. 这一点，神经网络其实是很难做到的。 

但是，决策树有一个很大的缺点，就是：容易过拟合。我们来引入随机森林。

上面大致就是这样子，针对强分类器的组合，我们用 Bagging 的方法，而对于弱分类器呢？是的，上 Boosting 。。。

需要注意的是：分类器的选择，是依次进行的，是有次序的。。。

假设我们这里需要处理一个二元分类问题，我们有一堆这样子的数据。