随机森林属于集成学习(ensemble learning)中的bagging算法，在集成算法中主要分为bagging算法与boosting算法，
Bagging算法(套袋发)
- bagging的算法过程如下：
- 从原始样本集中使用Bootstraping 方法随机抽取n个训练样本，共进行k轮抽取，得到k个训练集（k个训练集之间相互独立，元素可以有重复）。
- 对于n个训练集，我们训练k个模型，（这个模型可根据具体的情况而定，可以是决策树，knn等）
- 对于分类问题：由投票表决产生的分类结果；对于回归问题，由k个模型预测结果的均值作为最后预测的结果（所有模型的重要性相同）。
Boosting（提升法）
- boosting的算法过程如下：
- 对于训练集中的每个样本建立权值wi，表示对每个样本的权重， 其关键在与对于被错误分类的样本权重会在下一轮的分类中获得更大的权重（错误分类的样本的权重增加）。
- 同时加大分类 误差概率小的弱分类器的权值，使其在表决中起到更大的作用，减小分类误差率较大弱分类器的权值，使其在表决中起到较小的作用。每一次迭代都得到一个弱分类器，需要使用某种策略将其组合，最为最终模型，(adaboost给每个迭代之后的弱分类器一个权值，将其线性组合作为最终的分类器,误差小的分类器权值越大。)
Bagging和Boosting 的主要区别
- 样本选择上: Bagging采取Bootstraping的是随机有放回的取样，Boosting的每一轮训练的样本是固定的，改变的是买个样的权重。
- 样本权重上：Bagging采取的是均匀取样，且每个样本的权重相同，Boosting根据错误率调整样本权重，错误率越大的样本权重会变大
- 预测函数上：Bagging所以的预测函数权值相同，Boosting中误差越小的预测函数其权值越大。
- 并行计算: Bagging 的各个预测函数可以并行生成;Boosting的各个预测函数必须按照顺序迭代生成.
将决策树与以上框架组合成新的算法
- Bagging + 决策树 = 随机森林
- AdaBoost + 决策树 = 提升树
- gradient + 决策树 = GDBT
决策树
常用的决策树有ID3， C4.5 ,CART三种. 三种算法模型构架相似，只是采用了不同的指标
首先介绍ID3算法
- 基于奥卡姆剃刀原理，即用尽量较少的东西做更多的东西，ID3算法即interactive Dichotomiser3，迭代二叉树3代，
- 核心思想：以信息增益来度量属性的选择，选择分裂后信息增益最大的属性进行分类。
- 信息增益：属性选择中一个重要的指标，它定义为一个属性能够为分类带来的多少信息，带来的信息越多，该属性也就越重要，而信息量则可以用熵表示。
- 熵的定义：信息量的期望值，表示随机变量不确定性的度量，设X是一个取有限个值的离散随机变量，其概率分布为P(X=xi)=pi,则随机变量X的熵定义为
其中，对数以2为底或者以e为底，分布其单位是比特(bit)或者纳特(nat)
- 熵越大，随机变量的不确定性就越大，当随机变量只取两个值，即X的分布式
，其熵为
，分布为伯努利分布时，熵与概率的关系如图：
,p=0.5时，H(p)=1，熵取值最大，随机变量的不确定性越大，当p=0或者1时，H(p)=0随机变量完全没有不确定性.
条件熵
- 设有随机变量(X,Y),其联合概率分布为
，条件熵H(Y|X)表示在已知随机变量X的条件下，随机变量随Y的不确定性。随机变量X给定的条件下，随机变量Y的条件熵(conditional entropy)(H(Y|X)),定义为X的给定条件下Y的条件概率分布的熵对X的数学期望。
这里p=P(X=xi)，i=1，2，3...n,如果是在决策树里面的话，就是类标概率与该类标下在该变量下分裂下的熵的乘积之和。- 当熵和条件熵中的概率由数据估计（特别是极大似然估计）得到时，所对应的熵与条件熵分别称为经验熵与经验条件熵
- 此时，信息增益(information gain)表示得知特征X的信息而使得类Y的信息的不确定性减少的程度，
信息增益
- 特征A对训练数据集D的信息增益g(D,A),定义为集合D的经验熵H(D),与特征A给定条件下D的经验条件熵H(D|A)之差 g(D,A)=H(D)-H(D|A)
- 决策树学习应用信息增益准则可以用于特征选择，给定的训练集D和特征A,经验熵H(D)标书对数据集D进行分类的不确定性，而经验条件熵H(D|A)表示在特征A给定的情况下，对数据集D进行分类的不确定性。信息增益就是表示特征A使得对数据集D的分类的不确定性的减少程度。对于数据集D而言，信息增益依赖于特征，不同特征往往具有不同的信息增益，信息增益大的特征具有更强的分类能力。
- 未完待续
