支持向量机之推导（二）

SVM算法要解决的是一个最优分类器的设计问题

线性SVM算法的数学建模

一个最优化问题通常有两个最基本的因素：
1）目标函数，也就是你希望什么东西的什么指标达到最好；---- 分类间隔
2）优化对象，你期望通过改变哪些因素来使你的目标函数达到最优。---决策面

在线性SVM算法中，目标函数显然就是那个“分类间隔”，而优化对象则是决策面。所以要对SVM问题进行数学建模，首先要对上述两个对象（“分类间隔”和“决策面”）进行数学描述

2.1 决策面方程

wx+b=0

2.2 分类“间隔”的计算模型

d=|wx+b|/||w||

2.3 约束条件

2.4 线性SVM优化问题基本描述

三、有约束最优化问题的数学模型 (数学基础：凸二次优化、拉格朗日乘子法, 拉格朗日对偶、KKT条件、鞍点等等)

SMO算法：序列最小优化算法(解决对偶问题)，一种解决二次优化问题的算法，其最经典的应用就是在解决SVM问题上。其基本思路就是一次迭代只优化两个变量而固定剩余的变量。直观地讲就是将一个大的优化问题分解为若干个小的优化问题，这些小的优化问题往往是易于求解的

泰勒展开：因为根据高等数学泰勒展开式我们可以知道，任何函数都可以用多项式的方式去趋近，一些基础的函数如等等都可以去趋近，而不同的函数曲线其实就是这些基础函数的组合。理解这一点很重要！

硬间隔
软间隔

整个SMO算法包括两部分，求解两个变量的二次规划问题和选择这两个变量的启发式方法,SMO算法难就难在对两个α变量的选择过程

SVM问题是一个不等式约束条件下的优化问题

四.线性SVM优化问题求解

4.1 基于拉格朗日乘子法的线性SVM优化问题模型

五。https://sevenold.github.io/2018/07/ml-svm-kernel/

核函数

核函数在SVN算法中的使用

引入松弛变量和惩罚函数的软间隔分类器