机器学习相关知识整理系列之二：Bagging及随机森林
1. Bagging的策略
- 从样本集中重采样（有放回）选出\(n\)个样本，定义子样本集为\(D\)；
- 基于子样本集\(D\)，所有属性上建立分类器，（ID3，C4.5，CART，SVM等）；
- 重复以上步骤\(m\)步，即获得了\(m\)个分类器；
- 最后根据这\(m\)个分类器进行投票，决定输入样本属于哪一类。
2. 随机森林
随机森林在Bagging基础上做了修改：
- 从样本中重复自抽样（Bootstrap）选出\(n\)个样本，定义子样本集为\(D\)；
- 基于样本集\(D\)，从所有属性中随机选择K个属性（特征），选择最佳分割属性作为结点建立CART决策树；
- 这\(m\)个CART组成一个随机森林，通过投票表决结果，决定输入样本属于哪一类。
3. 随机森林/Bagging和决策树关系
- 可以使用决策树作为基本分类器
- 也可以使用SVM、Logistics回归等分类器，由这些分类器组成的"总分类器"，也叫随机森林
4. 投票机制
4.1 简单投票机制
- 一票否决
- 少数服从多数（有效多数，加权）
- 阈值表决
4.2 投票机制举例
- 假定有N个用户可以为X个电影投票（假定投票者不能给同一电影重复投票），投票有1,2,3,4,5星共五档。
- 根据用户投票对电影进行排序，本质任然为分类问题，对于某个电影，有N个决策树进行分类（1,2,3,4,5类）
投票方案：$$WR = \frac{v}{v+m}R + \frac{m}{v+m}C$$ - \(WR\)：加权得分;
- \(R\)：该电影的用户投票的平均得分
- \(C\)：所有电影的平均得分
- \(v\)：该电影的投票人数
- \(m\)：排名前250名电影的最低投票数
5. 样本不均衡的常用处理方法
假定样本数目A类比B类多，且严重不平衡：
- A类欠采样
- 随机欠采样
- A类分成若干子集，分别与B类进入ML模型
- 基于聚类的A类分割
- B类过采样
- 避免欠采样造成的信息丢失
- B类数据合成
- 随机插值得到新样本
- 代价敏感学习
- 降低A类权值，提高B类权值
6. 随机森林总结
- 在数据集上表现良好
- 在对缺失数据进行估计时，随机森林是一个十分有效的方法。就算存在大量的数据缺失，随机森林也能较好地保持精确性；
- 随机森林算法能解决分类与回归两种类型
- 能够处理很高维度的数据，并且不用做特征选择
- 容易做成并行化方法
- 在训练完后，它能够给出哪些特征比较重要
- 随机森林的集成思想也可以用在其他分类器的设计中
- 随机森林在解决回归问题时没有在分类中表现的好，因为它并不能给出一个连续型的输出。当进行回归时，随机森林不能够作出超越训练集数据范围的预测，这可能导致在对某些还有特定噪声的数据进行建模时出现过度拟合。
