201119西瓜书系列博客---6、支持向量机

201119西瓜书系列博客---6、支持向量机

一、总结

一句话总结：

支持向量机（Support Vector Machine），简称SVM，是一种经典的【二分类模型】，属于监督学习算法。

 

1、【6.1、间隔与支持向量】？

介绍了支持向量机的目标是确定一个对样本的分类结果最鲁棒的线性分类器，即找到一个具有【最大间隔的划分超平面】。

为此【以间隔为优化目标】，可将其转化为一个凸二次规划问题。

 

2、【6.2、对偶问题】？

6.2.1、【转换对偶问题】；6.2.2、【求解对偶问题】；

对于6.1节求出的凸二次规划问题，采用【拉格朗日乘子法】可得到其【对偶问题】。

由于该对偶问题又为二次规划问题，文中采用了【SMO算法】对其进行求解。

 

3、【6.3、核函数】？

前两节是在样本在其原始样本空间【线性可分的假设下】进行讨论的，

该节针对原始样本空间【线性不可分】的问题，基于有限维原始样本空间【一定存在一个高维特征空间使样本线性可分】这一定理，

引出了【原始空间和特征空间的桥梁——核函数】的相关概念，并强调【核函数的选择】是支持向量机的最大变数。

 

4、【6.4、软间隔与正则化】？

前三节都是基于理论进行的推导，但在现实情况下我们【很难确定合适的核函数】对样本进行完美分类，故提出了【软间隔】的概念，【允许有尽可能少的样本不满足约束条件】。

于是在前面的基础上，模型加入了【对各个样本松弛变量的考量】，并采用6.2节的方法进行求解。

 

5、【6.5、支持向量回归】？

本节【从分类问题转向了回归问题】，介绍了相对于传统回归问题上对损失的严格定义，【支持向量回归（SVR）】则对模型输出和真实输出设有容许偏差，只有超过偏差才计算损失。

凭此建立了【SVR模型】，并还是采用6.2节的方法进行求解。

 

6、【6.6、核方法】？

由前面的推导发现，SVM和SVR学得的模型【总能表示成核函数的线性组合】，并引出了表示定理，

强调了该类型的优化问题的解总可表示为核函数的线性组合，并以线性判别分析（LDA）为例向我们演示了如何通过引入核函数（核化）进行【非线性拓展】。

 

 

 

二、201119西瓜书系列博客---6、支持向量机

转自或参考：西瓜书学习笔记——第六章：支持向量机
https://blog.csdn.net/shichensuyu/article/details/90678747