摘要：
回归 决策树也可以用于执行回归任务。我们首先用sk-learn的DecisionTreeRegressor类构造一颗回归决策树，并在一个带噪声的二次方数据集上进行训练，指定max_depth=2： import numpy as np # Quadratic training set + noise 阅读全文
摘要：
决策树 与SVM类似，决策树在机器学习算法中是一个功能非常全面的算法，它可以执行分类与回归任务，甚至是多输出任务。决策树的算法非常强大，即使是一些复杂的问题，也可以良好地拟合复杂数据集。决策树同时也是随机森林的基础组件，随机森林在当前是最强大的机器学习算法之一。 在这章我们会先讨论如何使用决策树训练 阅读全文
摘要：
SVM回归 我们之前提到过，SVM算法功能非常强大：不仅支持线性与非线性的分类，也支持线性与非线性回归。它的主要思想是逆转目标：在分类问题中，是要在两个类别中拟合最大可能的街道（间隔），同时限制间隔侵犯（margin violations）；而在SVM回归中，它会尝试尽可能地拟合更多的数据实例到街道 阅读全文
摘要：
非线性SVM分类 尽管SVM分类器非常高效，并且在很多场景下都非常实用。但是很多数据集并不是可以线性可分的。一个处理非线性数据集的方法是增加更多的特征，例如多项式特征。在某些情况下，这样可以让数据集变成线性可分。下面我们看看下图左边那个图： 它展示了一个简单的数据集，只有一个特征x1，这个数据集一看 阅读全文
摘要：
SVM-支持向量机 SVM（Support Vector Machine）-支持向量机，是一个功能非常强大的机器学习模型，可以处理线性与非线性的分类、回归，甚至是异常检测。它也是机器学习中非常热门的算法之一，特别适用于复杂的分类问题，并且数据集为小型、或中型的数据集。 这章我们会解释SVM里的核心概 阅读全文
摘要：
多标签分类 到现在为止，我们看到的模型与数据都是将一条数据分类为一个类别。在某些情况下，我们可能需要分类器为每条数据输出多个类别。例如，假设有一个人脸识别分类器，如果它在同一张图片上认出了多张人脸的话，它应该输出什么呢？显然，它应该为每个它认出的人脸打上一个标志。 假设这个人脸识别分类器已经被训练了 阅读全文
摘要：
误差分析 如果上一章中的分类器是一个真实的项目，则我们最好是要遵循机器学习项目步骤：探索数据、准备数据、尝试多个模型、列出表现最好的几个模型、使用GridSearchCV对超参数进行调优、尽可能实现自动化。现在，假设我们已经有了一个性能还不错的模型，接下来我们要找一些办法去优化、提升它。其中一个办法 阅读全文
摘要：
多元分类 之前介绍过二元分类器，可以将数据分成两个类别（例如“数字5”和“非数字5”）。多元分类器（也称为多项式分类器）可以区分两个以上的类别。 有些算法（例如随机森林或朴素贝叶斯）可以直接处理多个类别。其他如SVM、线性分类器则是严格的二元分类器。不过我们仍有很多不同的办法可以让二元分类器实现多元 阅读全文
摘要：
ROC曲线 ROC曲线是二元分类器中常用的工具，它的全称是 Receiver Operating Characteristic，接收者操作特征曲线。它与precision/recall 曲线特别相似，但是它画出的是true positive rate（recall的另一种叫法）对应false pos 阅读全文
摘要：
混淆矩阵 衡量一个分类器性能的更好的办法是混淆矩阵。它基于的思想是：计算类别A被分类为类别B的次数。例如在查看分类器将图片5分类成图片3时，我们会看混淆矩阵的第5行以及第3列。 为了计算一个混淆矩阵，我们首先需要有一组预测值，之后再可以将它们与标注值（label）进行对比。我们也可以在测试集上做预测 阅读全文