摘要：一、模型评估与优化 1. 模型评估 1）性能度量 ① 错误率与精度 错误率和精度是分类问题中常用的性能度量指标，既适用于二分类任务，也适用于多分类任务. 错误率（error rate）：指分类错误的样本占样本总数的比例，即 （ 分类错误的数量 / 样本总数数量） 精度（accuracy）：指分类正确 阅读全文

摘要：一、朴素贝叶斯 朴素贝叶斯是一组功能强大且易于训练的分类器，它使用贝叶斯定理来确定给定一组条件的结果的概率，“朴素”的含义是指所给定的条件都能独立存在和发生. 朴素贝叶斯是多用途分类器，能在很多不同的情景下找到它的应用，例如垃圾邮件过滤、自然语言处理等. 1. 概率 1）定义 概率是反映随机事件出现 阅读全文

摘要：一、支持向量机 1. 基本概念 1）什么是支持向量机 ① SVM是二分类模型 ② 寻找一个超平面作为分类边界（线性分类边界），使得支持向量到分类边界距离最大化 ③ 寻找分类边界时，只考虑支持向量，不考虑其它样本 支持向量机（Support Vector Machines）是一种二分类模型，在机器学习 阅读全文

摘要：一、决策树 1. 什么是决策树 决策树是一种常见的机器学习方法，其核心思想是相同（或相似）的输入产生相同（或相似）的输出，通过树状结构来进行决策，其目的是通过对样本不同属性的判断决策，将具有相同属性的样本划分到一个叶子节点下，从而实现分类或回归. 以下是几个生活中关于决策树的示例. 【示例1】 男生 阅读全文

摘要：一、逻辑回归 1. 概述 1）什么是逻辑回归 逻辑回归（Logistic Regression） 虽然被称为回归，但其实际上是分类模型，常用于二分类。逻辑回归因其简单、可并行化、可解释强而受到广泛应用。二分类（也称为逻辑分类）是常见的分类方法，是将一批样本或数据划分到两个类别，例如一次考试，根据成绩 阅读全文

摘要：决策树 基本算法原理 核心思想：相似的输入必会产生相似的输出。 决策树核心问题 如何选取最优分割特征（特征属性最强） 决策树节点何时停止分裂 决策树本身属于弱模型。就是因为核心思想“相似的输入必会产生相似的输出”这个理论，成立的可能性相对来说不大。 为了提高搜索效率，使用树形数据结构处理样本数据： 阅读全文

摘要：三、数据预处理 1. 数据预处理的目的 1）去除无效数据、不规范数据、错误数据 2）补齐缺失值 3）对数据范围、量纲、格式、类型进行统一化处理，更容易进行后续计算 2. 预处理方法 1）标准化（均值移除） 1. 用每个数据-当前的平均值 得到离差 2. 用离差 / 原始数据每列的标准差 让样本矩阵中 阅读全文