摘要：
朴素贝叶斯 1. 算法流程 朴素贝叶斯算法（Naive Bayes, NB) 是以贝叶斯定理为基础并且假设特征条件之间相互独立的方法，先通过已给定的训练集，以特征词之间独立作为前提假设，学习从输入到输出的联合概率分布，再基于学习到的模型，输入X求出使得后验概率最大的输出Y。NB模型所需估计的参数很少 阅读全文
摘要：
集成学习 思想：集成学习通过构建多个学习器来完成学习任务，即用多个弱学习器组合形成强学习器。 集成学习需要关注的问题： 弱学习器如何训练得到？答：改变训练数据的权值或者概率分布 如何组合弱学习器形成强学习器？答：线性加权或者投票 1. Boosting 个体学习器之间存在强依赖关系，必须串行生成弱分 阅读全文
摘要：
决策树（Decision Tree） 决策树是一种树形结构，以信息熵为度量构造一棵熵值下降最快的树，它每个内部节点表示在某个特征上的分割使得分割前后熵值下降最快，到叶子结点处的熵值为零，此时每个叶结点中的样本都被归为同一类（训练时叶结点中数据的真实类别未必为同一类）。 决策树算法递归的选择最优特征， 阅读全文