接下来就是最最最重要的一个有监督学习算法了。
支持向量机
问题背景
样本集表示：
\[(x,y)\in D, x\in R^n, y\in \{-1,+1\}
\]
回到之前的逻辑回归模型中：\(h ( x ) =g(\theta^Tx)\geq 0.5\) 我们就认为是正例(y=1)。也就是\(\theta^Tx\geq 0\) ，且\(\theta^Tx\) 趋向于无穷大的时候h(x)输出的概率也会越接近于1。所以说：最大间距分类器 。
构造假设
这里我们要把之前用的符号换一下，把\(\theta^Tx\) 表示成\(w^Tx+b\) ，实际上就是把偏置项给显示地拿了出来。还有一个要注意的是样本集中的分类标签改为了+1和-1而不是之前的0和1。
\[h(x) = \left\{ \begin{array} { c l } { +1,} & { w^Tx+b \geq 0} \\ { - 1,} & { w^Tx+b < 0} \end{array} \right.
\]
衡量误差
于是我们现在要的就是如何使得点离我们分类直线的距离足够大。\(p\) 到超平面\(w^Tx+b=0\) 的距离为：
\[\frac { 1} { \| w \| } | w ^ { T } p + b |
\]
其实这条公式我们初高中就学过，只不过是写成这样的：对于直线\(Ax+By+C=0\) 点\(p=(x',y')\) 到直线的距离为：
\[\frac{|Ax'+By'+C|}{\sqrt {A^2+B^2}}
\]
那么我们定义间隔 为：
\[\gamma = 2\min _ { i } \frac { 1} { \| w \| } | w ^ { T } x _ { i } + b |
\]
那么最终的优化目标就是：
\[\begin{array} { r l }
{\max _ { w ,b } \min _ { i }} & {\frac { 2} { \| w \| } | w ^ { T } x _ { i } + b |} \\
{\text{s.t.}} & {y _ { i } ( w ^ { T } x _ { i } + b ) > 0,\quad i = 1,2,\dots ,m}
\end{array}
\]
问题求解
在求解问题之前我们先做一个重要的假设：样本集线性可分 。\((w,b)\) 进行放缩，即令：
\[\min _ { i } | w^Tx _ { i } + b | = 1
\]
那么求解优化问题可以化简成：
\[\left.\begin{array} { l } { \min _ { w ,b } \frac { 1} { 2} w ^ { T } w } \\ { \text{ s.t } \quad y _ { i } \left( w ^ { T } x _ { i } + b \right) \geq 1,\quad i = 1,2,\dots ,m } \end{array} \right.
\]
这是一个带约束的优化问题，之前梯度回归解决的是无约束的优化。所以简单理解的话我们可以使用二次规划对其进行求解，但是二次规划这里就先不讲了。有兴趣自行翻阅资料。
那么所谓SVM其实到这里就结束了。但是更重要的思想要体现在其对偶问题上。
对偶问题
虽然可以用二次规划求解这个问题。但是我们可以通过拉格朗日算子和对偶问题来对其进行再化简。
优化目标再定义
这里重新令\(θ=[w,b]^T\)
\[\left.\begin{array} { r l } { \min _ { \theta } } & { f ( \theta ) } \\ { \text{ s.t. } } & { g _ { i } ( \theta ) \leq 0,\quad i = 1,\dots ,k } \\ &{ h _ { i } ( \theta ) = 0,} \quad { i = 1,\dots ,l } \end{array} \right.
\]
定义其拉格朗日函数为：
\[\mathcal { L } ( \theta ,\alpha ,\beta ) = f ( \theta ) + \sum _ { i = 1} ^ { k } \alpha _ { i } g _ { i } ( \theta ) + \sum _ { i = 1} ^ { l } \beta _ { i } h _ { i } ( \theta )
\]
带入拉格朗日算子得到：
\[\min _ { \alpha } \max _ { \theta} \frac { 1} { 2} \theta ^ { T } \theta + \sum _ { i = 1} ^ { m } \alpha _ { i } \left( 1- y _ { i } \left( \theta ^ { T } x _ { i } + b \right) \right)
\]
\[\text{ s.t. } \quad \alpha _ { i } \geq 0,\quad i = 1,2,\dots ,m
\]
对α的约束是拉格朗日函数提供，并不是我们问题本身的约束。这里突然多了个max操作是让g满足我们的条件约束。我们的约束是\(g(x)<0\) 如果这个约束不满足，那么因为α和β的值是任意的，对g的max操作就会是正无穷。后面的min操作就没有意义了。
对于这样问题满足一定条件时，我们可以转换为其对偶问题，即min和max互换位置。这里省略了很多细节，请翻阅参考：
\[\max _ { \alpha } \min _ { \theta } \quad \frac { 1} { 2} \theta ^ { T } \theta + \sum _ { i = 1} ^ { m } \alpha _ { i } \left( 1- y _ { i } \left( \theta ^ { T } x _ { i } + b \right) \right)
\]
\[\text{ s.t. } \quad \alpha _ { i } \geq 0,\quad i = 1,2,\dots ,m
\]
因为内层的min没有约束，我们可以直接求导得到最小值。
\[\frac { \partial \mathcal { L } } { \partial \theta } = \mathbf { 0} \Rightarrow w = \sum _ { i = 1} ^ { m } \alpha _ { i } y _ { i } x _ { i }
\]
\[\frac { \partial \mathcal { L } } { \partial b } = 0\Rightarrow \sum _ { i = 1} ^ { m } \alpha _ { i } y _ { i } = 0
\]
化简为：
\[\min _ { \alpha } \frac { 1} { 2} \sum _ { i = 1} ^ { m } \sum _ { j = 1} ^ { m } \alpha _ { i } \alpha _ { j } y _ { i } y _ { j } x _ { i } ^ { T } x _ { j } - \sum _ { i = 1} ^ { m } \alpha _ { i }
\]
\[\text{ s.t. } \sum _ { i = 1} ^ { m } \alpha _ { i } y _ { i } = 0
\]
\[\alpha _ { i } \geq 0,\quad i = 1,2,\dots ,m
\]
注意这里是min不是max是因为取了负号。那么最终的优化问题只与这个α有关。关于θ和α的双变量的单极值带双约束 的问题，我们把约束条件放进转化为另一个极值。这样变成一个关于θ和α的双变量双极值单约束 问题。再利用对偶问题，交换极值位置，使得内层的极值问题是无约束的，对其求解，用α消去了θ 变成了关于α的单变量的单极值双约束 问题，最后这个问题就可以用普通的二次规划进行求解了。
KKT条件
因为这是一个有条件的优化问题，极值处需要满足：
主问题可行：$$g _ { i } ( w ) \leq 0,h _ { i } ( w) = 0$$
对偶问题可行：$$\alpha_i\geq0$$
互补松弛：$$\alpha _ { i } g _ { i } ( w ) = 0$$
这三个要满足的条件就是KKT条件。
支持向量
一般来说条件约束的函数极值一般会在约束处取到极值。所以说如下图所示：
\[h ( x ) = \operatorname{sign} \left( \sum _ { i \in S V } \alpha _ { i } y _ { i } \left\langle x _ { i } , x \right\rangle + b \right)
\]
SV表示支持向量，<>表示内积操作。
核函数
问题背景
回忆一下我们在求解问题中提到的基本假设就是，样本集线性可分，但是对于线性不可分 的情况怎么办呢。把样本集投影到更高维度空间上使其稀疏变得线性可分 。
构造假设
在拉格朗日乘子法中我们求解得到了α并用α替代了w得到了新的假设函数：
\[h(x)= \sum _ { i = 1} ^ { n } \alpha _ { i } y ^ { ( i ) } \left\langle x ^ { ( i ) } ,x \right\rangle + b
\]
也就是说如果新来了一个样本，我们要判断类别的话，只要和原来样本集中的点做内积计算即可。
回到刚才的问题上来，我们想把样本集映射到更高维度的空间上。假设函数中的我们做了内积运算\(\langle x ^ { ( i ) } ,x\rangle\) 得到了一个值。所以要做的就是把x映射到更高维的空间再做内积运算即可。\(\phi ( x )\) 表示的是对向量x的一个映射，那么定义核函数k就是：
\[K ( x ,z ) = \phi ( x ) ^ { T } \phi ( z )
\]
比如我们一个核函数为：
\[K ( x ,z ) = \left( x ^ { T } z \right) ^ { 2}
\]
即：
\[\left.\begin{aligned} K ( x ,z ) & = \left( \sum _ { i = 1} ^ { n } x _ { i } z _ { i } \right) \left( \sum _ { j = 1} ^ { n } x _ { j } z _ { j } \right) \\ & = \sum _ { i = 1} ^ { n } \sum _ { j = 1} ^ { n } x _ { i } x _ { j } z _ { i } z _ { j } \\ & = \sum _ { i ,j = 1} ^ { n } \left( x _ { i } x _ { j } \right) \left( z _ { i } z _ { j } \right) \end{aligned} \right.
\]
那么\(\phi ( x )\) 的映射就是：
\[\phi ( x ) = \left[ \begin{array} { c } { x _ { 1} x _ { 1} } \\ { x _ { 1} x _ { 2} } \\ { x _ { 1} x _ { 3} } \\ { x _ { 2} x _ { 1} } \\ { x _ { 2} x _ { 1} } \\ { x _ { 2} x _ { 1} } \\ { x _ { 2} x _ { 2} } \\ { x _ { 3} x _ { 2} } \\ { x _ { 3} x _ { 3} } \end{array} \right]
\]
那么是不是任意的映射都可以作为核函数呢，当然并不是。详细请翻一下参考。
软间距
问题背景
仍然是回到之前那个线性可分的假设中，首先我们假设样本集线性可分，如果线性不可分就映射到高维使得其线性可分。但是如果映射到高纬度还是线性不可分呢。或者这样的一种情况：
衡量误差
我们引入一个\(\xi\) 值（也叫做松弛变量 ）表示我们对分类错误的容忍度。
\[\left.\begin{array} { c l } \min _ {w ,b }& \frac { 1} { 2} | | w | | ^ { 2} + C \sum _ { i = 1} ^ { m } \xi _ { i }\\{ \text{ s.t. } } & { y ^ { ( i ) } \left( w ^ { T } x ^ { ( i ) } + b \right) \geq 1- \xi _ { i } ,\quad i = 1,\ldots ,m } \\ & { \xi _ { i } \geq 0,} \quad { i = 1,\ldots ,m } \end{array} \right.
\]
写在约束条件中的\(1-\xi\) 其实就是允许支持向量向着决策边界方向移动了，这样间距就会变小，所以叫软间距，这给予了我们容忍分类错误的能力。\(\xi\) 是使得分类错误不能太多，所以常数C就是我们对于错误的容忍度。
小结
首先我们由最大间距的直觉来构造了一个新的分类器，也就是我们的支持向量机原始问题。我们再对其对偶问题求解得到对偶形式。再对线性不可分的情况下利用核函数映射到高纬。并引入软间距允许误差的存在也有利于线性不可分的情况。
参考
从零构建支持向量机
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步