摘要： 支持向量机是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。 模型包括以下几类： 当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机； 当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机； 当训练样 阅读全文

摘要： 人工神经网络是一个数学模型，旨在模拟人脑的神经系统对复杂信息的处理机制，其网络结构是对人脑神经元网络的抽象，两者有很多相似之处。 当然 ANN 还远没有达到模拟人脑的地步，但其效果也让人眼前一亮。 1. 人工神经元结构 人工神经元是一个多输入单输出的信息处理单元，是对生物神经元的建模。建模方式可以有 阅读全文

摘要： $k-means$ 算法是无监督的聚类算法。 $k-means$ 算法的思想：对于给定的 $n$ 个样本，按照样本之间的距离大小，将样本集划分为 $k$ 个簇。让簇内的点尽量紧密的连在一起，而让簇间的距离尽量的大。 假设簇划分为 $(C_{1}, C_{2},..., C_{k})$，$|C_{i} 阅读全文

摘要： Matplotlib 是 Python 的绘图库。 它可与 NumPy 一起使用，提供了一种有效的 MatLab 开源替代方案。 官方文档：https://matplotlib.org/api/。 1. 一个基本的例子 import matplotlib.pyplot as plt import n 阅读全文

摘要： NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。 官方文档地址：https://numpy.org/doc/stable/index.html。 下面简述一些 Numpy 库常用方法和属性。 阅读全文

摘要： 在机器学习和统计领域，线性回归模型是最简单的模型之一。 在现实生活中，往往需要分析若干变量之间的关系，如碳排放量与气候变暖之间的关系、某一商品广告投入量与该商品销售量之间的关系等。 回归分析：分析不同变量之间存在关系的研究。 回归模型：刻画不同变量之间关系的模型。如果这个模型是线性的，则称为线性回归 阅读全文

摘要： 设两个向量 $x,y$ 分别为 $$x = (x_{1},x_{2},\cdots, x_{m})^{T}$$ $$y = (y_{1},y_{2},\cdots, y_{n})^{T}$$ 虽然是多变量对多变量求偏导，但最终都是归结于一个单变量对另一个单变量求偏导，只是函数和自变量都写成了向量形式 阅读全文

摘要： 标量 $y$ 对 $n$ 维列向量 $x = (x_{1},x_{2},\cdots,x_{n})^{T}$ 求导，其结果还是一个 $n$ 维列向量： $$\frac{d y}{d x} = \begin{bmatrix}\frac{\partial y}{\partial x_{1}} \\ \f 阅读全文

摘要： 阅读本文之前，可先阅读博客。 1. 原始问题 假设 $f(x),g_{i}(x),c_{j}(x)$ 是定义在 $R^{n}$ 上的连续可微函数，考虑约束最优化问题： $$\min_{x} \; f(x) \\s.t. \;\;\; g_{i}(x) \leq 0, \;\;\; i = 1,2,\ 阅读全文

摘要： 阅读本篇之前，可先阅读一下梯度下降法。下面介绍一下牛顿法的基本思路。记原始的函数为 $F(x)$，它对应的二阶泰勒展开式为 $f(x)$ 将目标函数 $F(x)$ 进行二阶泰勒展开(如果不了解这个可先阅读博客)得： $$f(x) = f(x_{0}) + \nabla f(x_{0})^{T}(x 阅读全文