支持向量机SVM推导
样本(\(x_{i}\),\(y_{i}\))个数为\(m\):
\[\{x_{1},x_{2},x_{3}...x_{m}\}
\]
\[\{y_{1},y_{2},y_{3}...y_{m}\}
\]
其中\(x_{i}\)为\(n\)维向量：
\[x_{i}=\{x_{i1},x_{i2},x_{i3}...x_{in}\}
\]
其中\(y_i\)为类别标签：
\[y_{i}\in\{-1,1\}
\]
其中\(w\)为\(n\)维向量：
\[w=\{w_{1},w_{2},w_{3}...w_{n}\}
\]
函数间隔\(r_{fi}\):
\[r_{fi}=y_i(wx_i+b)
\]
几何间隔\(r_{di}\):
\[r_{di}=\frac{r_{fi}}{\left \| w \right \|}
=\frac{y_i(wx_i+b)}{\left \| w \right \|}
\]
最小函数间隔\(r_{fmin}\):
\[r_{fmin}=\underset{i}{min}\{y_i(wx_i+b)\}
\]
最小几何间隔\(r_{dmin}\):
\[r_{dmin}=\frac{r_{fmin}}{\left \| w \right \|}
=\frac{1}{\left \| w \right \|}*\underset{i}{min}\{y_i(wx_i+b)\}
\]
目标是最大化最小几何间隔\(r_{dmin}\):
\[max\{r_{dmin}\}=
\underset{w,b}{max}\{\frac{1}{\left \| w \right \|}*\underset{i}{min}\{y_i(wx_i+b)\}\}
\]
最小几何间隔的特点：等比例的缩放\(w,b\),最小几何间隔\(r_{dmin}\)的值不变。
因此可以通过等比例的缩放\(w,b\)，使得最小函数间隔\(r_{fmin}\)=1,即：
\[\underset{i}{min}\{y_i(wx_i+b)\}=1
\]
此时会产生一个约束条件：
\[y_i(wx_i+b)\geq 1
\]
最终优化目标为：
\[\left\{\begin{matrix}
\underset{w,b}{max}\frac{1}{\left \| w \right \|}
\\
y_i(wx_i+b)\geq 1
\end{matrix}\right.
=
\left\{\begin{matrix}
\underset{w,b}{min}\frac{1}{2}{\left \| w \right \|}^2
\\
y_i(wx_i+b)\geq 1
\end{matrix}\right.
\]
