摘要：
目录 单标签二分类 单标签多分类 多标签算法 一、单标签二分类 单标签二分类这种问题是我们最常见的算法问题，主要是指label标签的取值只有两种，并且算法中只有一个需要预测的label标签；直白来讲就是每个实例的可能类别只有两种(A or B)；此时的分类算法其实是在构建一个分类线将数据划分为两个类 阅读全文
摘要：
目录 scitit-learn SVM API说明 鸢尾花SVM特征分类 鸢尾花数据不同分类器准确率比较 不同SVM核函数效果比较 异常值检测(OneClassSVM) 分类问题总结 一、scitit-learn SVM API说明 1.1 算法库概述分类算法 svm.SVC API说明：也可见另一 阅读全文
摘要：
目录 SVM回归模型的损失函数度量 SVM回归模型的目标函数的原始形式 SVM回归模型的目标函数的对偶形式 SVM 算法小结 一、SVM回归模型的损失函数度量 SVM和决策树一样，可以将模型直接应用到回归问题中；在SVM的分类模型(SVC)中，目标函数和限制条件如下 在SVR中，目的是为了尽量拟合一 阅读全文
摘要：
目录 SVM优化目标函数 SMO算法的基本思想 SMO算法目标函数的优化 SMO算法两个变量的选择及计算阈值b和差值E SMO算法流程总结 一、SVM优化目标函数 在SVM的前两篇里，我们优化的目标函数最终都是一个关于α向量的函数。而怎么极小化这个函数，求出对应的α向量，进而求出分离超平面我们没有讲 阅读全文
摘要：
一、目录 1、目录 2、背景 3、核函数引入 4、核函数介绍 5、SVN小结 二、背景 支持向量机（一）讲到的软间隔最大化只能解决由于异常点而导致的线性不可分问题，而对于本身的数据集就是非线性的问题就无能为力，根据相关理论对于在低维空间线性不可分的问题，一般将其映射到高维空间后都是线性可分的，我们可 阅读全文
摘要：
我们知道较早的分类模型——感知机（1957年）是二类分类的线性分类模型，也是后来神经网络和支持向量机的基础。支持向量机（Support vector machines）最早也是是一种二类分类模型，经过演进，现在成为了既能处理多元线性和非线性的问题，也能处理回归问题。在深度学习风靡之前，应该算是最好的 阅读全文
摘要：
目录 感知机模型 感知机模型损失函数 感知机模型损失函数的优化方法 感知机模型的算法 感知机模型的算法对偶形式 我们知道较早的分类模型——感知机（1957年）是二类分类的线性分类模型，也是后来神经网络和支持向量机的基础。 1、感知机模型 感知机模型是一种二分类的线性分类器，只能处理线性可分的问题，感 阅读全文
摘要：
目录 简述 K-means聚类 密度聚类 层次聚类 一、简述 聚类算法是常见的无监督学习（无监督学习是在样本的标签未知的情况下，根据样本的内在规律对样本进行分类）。 在监督学习中我们常根据模型的误差来衡量模型的好坏，通过优化损失函数来改善模型。而在聚类算法中是怎么来度量模型的好坏呢？聚类算法模型的性 阅读全文
摘要：
目录 K-Means算法和Mini Batch K-Means算法比较 层次聚类(BIRCH)算法参数比较 DBSCAN算法 一、K-Means算法和Mini Batch K-Means算法比较 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 2 阅读全文
摘要：
目录 简述集成学习 Boosting介绍 AdaBoost算法 GBDT算法 总结 一、简述集成学习 上一篇博文已经介绍了：集成算法是由多个弱学习器组成的算法，根据个体学习器的生成方式不同，集成算法分成两类： 个体学习器之间不存在强依赖关系，可以并行化生成每个个体学习器，这一类的代表是Bagging 阅读全文
摘要：
目录 简述集成学习 bagging算法介绍 随机森林 随机森林的推广 随机森林小结 一、简述集成学习 集成学习(ensemble learning)可以说是非常火爆的机器学习方法。它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务。也就是我们常说的"博采众长"。集成学习 阅读全文
摘要：
一、目录 目录 决策树初步认知 决策树--ID3算法 决策树--C4.5算法 决策树--CART CART算法的剪枝 决策树的优缺点 其他补充 总结 二、决策树初步认知 决策树算法在机器学习中算是很经典的一个算法系列了。它先按照影响结果的主要因素进行排序，选取最主要的因素先进行分岔，依次循环下去。各 阅读全文
摘要：
目录 简述 二元逻辑回归的模型 二元逻辑回归的损失函数及推导 二元逻辑回归的正则化 二元逻辑回归的推广：多元逻辑回归 总结 一、简述 逻辑回归是一个分类算法（区别与线性回归），它可以处理二元分类以及多元分类。虽然它名字里面有"回归"两个字，却不是一个回归算法。那为什么有"回归"这个误导性的词呢？个人 阅读全文
摘要：
目录 案例 完成代码 执行结果截图 实验总结分析 对于实验的改进意见 一、案例 二、完成代码 %matplotlib inline import numpy as np import pandas as pd import matplotlib.pyplot as plt from numpy im 阅读全文
摘要：
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法(在【2】中已经讲解了)。这里就对梯度下降法做一个完整的总结。 一、简述 在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出 阅读全文
摘要：
目录 最小二乘法的原理与要解决的问题 最小二乘法的代数法解法 最小二乘法的矩阵法解法 最小二乘法的局限性和适用场景 常见问题 最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。 一、最小二乘法的原理与要 阅读全文
摘要：
线性回归可以说是机器学习中最基本的问题类型了，这里就对线性回归的原理和算法做一个小结 目录 背景 简述 内容详解 密度聚类 层次聚类 模型效果判断 附件：手写推导过程练习 一、线性回归函数定义 二、线性回归的模型函数和损失函数由来 原因：中心极限定理 实际问题中，很多随机现象可以看做众多因素的独立影 阅读全文