5分钟机器学习

Logistic Regression:

　　1.由线性回归，加上sigmoid得来

　　2. 线性回归得到的是一个值，Logistic Regression得到的是一个概率

　　3. sigmoid函数减少了极端值的影响

　　4. 如果样本不是线性回归可处理的，那么logistic regression效果就比较差

 

SVM：

　　1.maximum margin 尽可能加大两类之间的距离；尽可能保证分类的正确性

 

AdaBoost:

　　1. 集成学习中的一个典型例子，其由若干个weak learner组成

　　2. 不同于random Forest的同时进行， AdaBoost中的每一个学习器都建立在前一个weak learner上

　　3. 会加大对错误的权重，减少对预测正确的权重

　　4. 最后整合所有weak learners 也不是简单的求平均，而是带权。

　　5. 其上限高，下线也低，对 outlier 非常敏感

 

Random Forest

　　1. 由决策树组成

　　2. 每一颗树都随机选择 样本，feature

　　3. 回归取平均，分类取众数

　　4.pros

　　　　1. 稳定性高

　　　　2. 处理速度比普通决策树快

　　　　3. 树状结构 可解释性很高

　　5. CONS

　　　　1. 模型起点高，天花板低，模型过于General