SVM

一、原理

就是在样本空间中找到一个最佳的超平面使得正负样本间隔最大。SVM是二分类问题,引入核函数后就可以解决非线性问题。

二、为什么采用间隔最大化

因为可能存在多个超平面能够将正负样本分开,利用间隔最大化得到的超平面是唯一的,泛化能力最强。

三、为什么要转化为对偶问题?

1、通过约束条件进行求解,问题会很复杂,而且对偶问题往往更容易求解;

2、转化为对偶问题后,可以使用核函数处理非线性问题;

四、为什么引入核函数?

原始空间线性不可分的时候,通过核函数,将原始的样本映射到高维的特征空间,使得样本在这个高维的空间里面线性可分。还能够处理非线性问题。

核函数:回忆最后转化成的基本问题,就是内积xTx。这样在低维空间就能计算出高维空间点积的结果,不需要再展开到高位空间里计算了。

好处是一方面变成了高维空间,另一方面,还不用求具体的映射函数,只要给定的核函数即可。

五、为什么缺失数据很敏感?

SVM最后是要转换成线性可分的空间,所以数据缺失的样本,不能做到分类。

六、核函数之间的差别?

特征数量多、样本足够、线性可分使用线性核,没有必要映射到高维空间去;

特征数量少、样本也是、线性不可分的时候使用高斯核,映射到高维空间中进行求解;

七、怎么多分类?

1、直接修改目标函数,计算量很大;

2、每一类训练一个分类器,或者每两类训练一个分类器。

八、SVM适合什么样的数据?

样本少、高维稀疏、线性不可分。

九、SVM和LR不同点

1、损失函数不同;

2、SVM是结构风险最小(自带正则项),LR是经验风险最小化;

5、SVM不能产生概率,LR可以产生概率;

6、SVM会用核函数,LR不用核函数;

7、应用方面:小规模数量级SVM效果小于LR,大数据中LR好于SVM;

 

posted @ 2019-08-10 20:57  Austin_anheqiao  阅读(291)  评论(0编辑  收藏  举报