支持向量机(Support Vector Machine)

知乎上的文章写得很详细

https://zhuanlan.zhihu.com/p/77750026

https://zhuanlan.zhihu.com/p/31886934

SVM在解决线性可分的问题

点到超平面的距离： $M = \frac{\left | g(x) \right |}{\left \| \omega \right \|}$

因为需要最大化magins，所以优化目标： $max M = \frac{2}{\left \| \omega \right \|}$ 相当于 $min \frac{1}{2}\omega ^{T}\omega$

subject to： $y^{(i)}(\omega x^{(i)}+b)-1\geqslant 0$ （保证能分对样本）

所以利用拉格朗日乘数法生成目标函数： $L_{p} = \frac{1}{2}\left \| \omega \right \|^{2}-\sum_{i=1}^{m}\alpha_{i}y^{(i)}(\omega x^{(i)}+b)+\sum_{i=1}^{m}\alpha_{i}$

目标函数对参数 $\omega$ 和 $b$ 求偏导并让其等于0：

$\frac{\theta L_{p}}{\theta \omega } = 0\Rightarrow \omega = \sum_{i=1}^{m}\alpha_{i}y^{(i)}x^{(i)}$ $\frac{\theta L_{p}}{\theta b } = 0\Rightarrow \sum_{i=1}^{m}\alpha_{i}y^{(i)}=0$

将上式代入目标函数生成对偶函数： $L_{D} = \sum_{i=1}^{m}\alpha_{i}-\frac{1}{2}\alpha^{T}H\alpha$ 其中 $H_{ij} = y^{(i)}y^{(j)}x^{(i)}\cdot x^{(j)}$

我们需 $max L_{D}$ 求得 $\alpha$ ，代回求得 $\omega$ 。

所以 $g(x) = \sum_{i=1}^{m} \alpha_{i}y^{(i)}x^{(i)}x+b$ ，代入支持向量 $y_{s}(x_{s}\omega + b) = 1$ ，计算b。

SVM在解决线性不可分的问题

因为原始空间是有限维，那么一定存在一个高维特征空间使样本可分，令 $\phi(x)$ 表示将 $x$ 映射到更高维空间的特征向量，所以超平面所对应模型： $f(x) = \omega ^{T}\phi (x) + b$

与解决线性可分问题类似，其优化目标： $min \frac{1}{2}\left \| \omega \right \|^{2} s.t. y_{(i)}(\omega^{T}\phi (x^{(i)})+b) \geqslant 1$

其对偶函数： $max \sum \alpha^{(i)} - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_{i}\alpha_{j}y^{(i)}y^{(j)} \phi (x^{(i)})^{T}\phi (x^{(j)})$

引入核函数解决映射后高维特征向量内积： $\kappa (x^{(i)},x^{(j)}) = \phi (x^{(i)})\cdot \phi (x^{(j)})$

即 $x^{(i)}$ ， $x^{(j)}$ 在高维空间中的内积等于它们在原始样本空间中通过核函数计算的结果。

所以对偶函数可写为： $max \sum \alpha^{(i)} - \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_{i}\alpha_{j}y^{(i)}y^{(j)} \kappa (x^{(i)},x^{(j)})$

求解后得到 $f(x) = \sum \alpha_{i}y^{(i)}\kappa (x,x^{(i)})+b$ 。

2020-05-25 9：47

posted @ 2020-05-25 09:47 傅余生阅读(177) 评论(0) 编辑收藏举报

刷新页面返回顶部

傅余生

只有2%的人，可以控制未来。

支持向量机(Support Vector Machine)

SVM在解决线性可分的问题

SVM在解决线性不可分的问题

公告