摘要：
1 决策树概述 1.1 决策树模型简介 决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶子节点代表一种类别。 树的组成： 根节点：第一个选择点非叶子结点与分支：中间过程叶子节点：最终的决策结果 1.2 决策树建立步骤 1.3 三种经典的决策树生成算法 决策 阅读全文
摘要：
以下内容来自刘建平Pinard-博客园的学习笔记。 奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。本文就对SVD的原理做一 阅读全文
摘要：
1 CART算法 CART全称叫Classification and Regression Tree，即分类与回归树。CART假设决策树是二叉树，内部结点特征的取值只有“是”和“否”，左分支是取值为“是”的分支，有分支则相反。这样的决策树等价于递归地二分每个特征。 CART分类回归树可以做分类或者回 阅读全文
摘要：
1 决策树的剪枝 当输入的原始数据有较多的变量时，通过决策树算法生成的决策树可能会非常的庞大。这样的一颗决策树在训练集上有很好的表现，但是在测试集上的表现往往不甚理想，这样的问题也被叫做过拟合问题。面对这样的问题，一般所采用的处理方法是对决策树进行剪枝，常用的剪枝算法有REP、PEP、CCP等。本文 阅读全文
摘要：
1.准确率 准确率是指在分类中，用模型对测试集进行分类，分类正确的样本数占总数的比例： $accuracy=\frac {n_{correct}}{n_{total}} $ sklearny库中提供了一个专门对模型进行评估的包metrics，该包可以满足一般的模型评估需求。其中提供了准确率计算函数， 阅读全文