支持向量机背后的数学

向量的内积（inner product）

对于向量

\[\begin{array}{l}
u = \left[ {\begin{array}{*{20}{c}}
{{u_1}}\\
{{u_2}}
\end{array}} \right]\\
v = \left[ {\begin{array}{*{20}{c}}
{{v_1}}\\
{{v_2}}
\end{array}} \right]
\end{array}\]

它们的内积

\[{u^T}v = {u_1}{v_1} + {u_2}{v_2}\]

又有

\[\left\| u \right\| = \sqrt {u_1^2 + u_2^2} \]

假设v在u上的投影距离为p，则

\[{u^T}v = p\left\| u \right\|\]

如果u和v的夹角大于90°则p是复数，小于90°为正数

---

有了上面的基础，接下来看支持向量机的损是函数

\[\underbrace {\min }_\theta \left\{ {C\left[ {\sum\limits_{i = 1}^m {{y^{\left( i \right)}}{\mathop{\rm Cos}\nolimits} {t_1}\left( {{\theta ^T}{x^{\left( i \right)}}} \right) + \left( {1 - {y^{\left( i \right)}}} \right){\mathop{\rm Cos}\nolimits} {t_0}\left( {{\theta ^T}{x^{\left( i \right)}}} \right)} } \right] + \frac{1}{2}\sum\limits_{j = 1}^n {\theta _j^2} } \right\}\]

支持向量机试图最小化这个公式，对于前半部分

\[{C\left[ {\sum\limits_{i = 1}^m {{y^{\left( i \right)}}{\mathop{\rm Cos}\nolimits} {t_1}\left( {{\theta ^T}{x^{\left( i \right)}}} \right) + \left( {1 - {y^{\left( i \right)}}} \right){\mathop{\rm Cos}\nolimits} {t_0}\left( {{\theta ^T}{x^{\left( i \right)}}} \right)} } \right]}\]

当y=1时，θ^Tx会朝着θ^Tx≥1的趋势去优化θ

当y=0时，θ^Tx会朝着θ^Tx≤-1的趋势去优化θ

对于后半部分

\[{\frac{1}{2}\sum\limits_{j = 1}^n {\theta _j^2} }\]

对于下面两种情况

 

为方便理解，这里简化θ只有两个参数（θ₁，θ₂），且θ₀=0，则

\[\frac{1}{2}\sum\limits_{j = 1}^n {\theta _j^2}  = \frac{1}{2}\left( {\theta _1^2 + \theta _2^2} \right) = \frac{1}{2}{\left( {\sqrt {\theta _1^2 + \theta _2^2} } \right)^2} = \frac{1}{2}{\left\| \theta  \right\|^2}\]

可以看出，支持向量机为最小化这一部分，会试图最小化θ

结合第一部分

当y=1时，θ^Tx会朝着θ^Tx≥1的趋势去优化θ，加上第二部分的θ尽量小，则对于

\[{\theta ^T}{x^{\left( i \right)}} = {p^{\left( i \right)}}\left\| \theta  \right\|\]

p⁽ⁱ⁾需要尽量大

 

支持向量机会选择后者，因为它有比较大的p。