机器学习纸质作业1

最近在学习浙江大学胡浩基老师的机器学习课程，做了一下纸质作业1的原问题转化成对偶问题

2.(a)

原问题：

　　最小化： $\frac{1}{2}\begin{Vmatrix}\omega \end{Vmatrix}^{2}+C_{1}\sum_{i=1}^{N}\delta _{i}+C_{2}\sum_{i=1}^{N}\delta _{i}^{2}$

　　限制条件：① $\delta _{i}\geq 0$

　　　　　　 ② $y_{i}\left [ \omega ^{T} \varphi (x_{i}))+b\right ]\geq 1-\delta _{i}$

解：①设δ_i≤0，则我们是最小化

$\frac{1}{2}\begin{Vmatrix}\omega&space;\end{Vmatrix}^{2}-C_{1}\sum_{i=1}^{N}\delta&space;_{i}+C_{2}\sum_{i=1}^{N}\delta&space;_{i}^{2}$

限制条件为

$y_{i}\left&space;[&space;\omega&space;^{T}&space;\varphi&space;(x_{i}))+b\right&space;]\geq&space;1+\delta&space;_{i}$

②将限制条件②移项得：

$1+\delta&space;_{i}-y_{i}\left&space;[&space;\omega&space;^{T}&space;\varphi&space;(x_{i}))+b\right&space;]\leq &space;0$

③代入该问题，得最大化

$\theta (\alpha ,\beta )=inf\left \{ \frac{1}{2}\left \| \omega \right \|^{2}-C_{1}\sum_{i=1}^{N}\delta _{i}+C_{2}\sum_{i=1}^{N}\delta _{i}^{2}+\sum_{i=1}^{N}\beta _{i}\delta _{i}+\sum_{i=1}^{N}\alpha _{i}\left [ 1+\delta _{i}-y_{i}\left [ \omega ^{T}\varphi (x_{i})+b \right ] \right ] \right \}$

④对θ(α,β)求偏导，得

$\frac{\mathrm{d} L}{\mathrm{d} \omega }=\omega -\sum_{i=1}^{N}\alpha _{i}y_{i}\varphi (x_{i})$

$\frac{\mathrm{d} L}{\mathrm{d} \delta _{i} }=2C_{2}\delta _{i}-C_{1}+\alpha _{i}+\beta _{i}$

$\frac{\mathrm{d} L}{\mathrm{d} b }=-\sum_{i=1}^{N}\alpha _{i}y_{i}$

使偏导为0，得

$\omega&space;=\sum_{i=1}^{N}\alpha&space;_{i}y_{i}\varphi&space;(x_{i})$

$\delta_{i}=\frac{(C_{1}-\alpha_{i}-\beta_{i})}{2C_{2}}$

$\sum_{i=1}^{N}\alpha _{i}y_{i}=0$

⑤将偏导结果代入θ(α,β)，得

⑤所以，该原问题的对偶问题为

最大化：

限制条件：

①

②

posted @ 2021-07-20 16:40 划水就完事了阅读(358) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部