SVM
一、原理
就是在样本空间中找到一个最佳的超平面使得正负样本间隔最大。SVM是二分类问题,引入核函数后就可以解决非线性问题。
二、为什么采用间隔最大化
因为可能存在多个超平面能够将正负样本分开,利用间隔最大化得到的超平面是唯一的,泛化能力最强。
三、为什么要转化为对偶问题?
1、通过约束条件进行求解,问题会很复杂,而且对偶问题往往更容易求解;
2、转化为对偶问题后,可以使用核函数处理非线性问题;
四、为什么引入核函数?
原始空间线性不可分的时候,通过核函数,将原始的样本映射到高维的特征空间,使得样本在这个高维的空间里面线性可分。还能够处理非线性问题。
核函数:回忆最后转化成的基本问题,就是内积xTx。这样在低维空间就能计算出高维空间点积的结果,不需要再展开到高位空间里计算了。
好处是一方面变成了高维空间,另一方面,还不用求具体的映射函数,只要给定的核函数即可。
五、为什么缺失数据很敏感?
SVM最后是要转换成线性可分的空间,所以数据缺失的样本,不能做到分类。
六、核函数之间的差别?
特征数量多、样本足够、线性可分使用线性核,没有必要映射到高维空间去;
特征数量少、样本也是、线性不可分的时候使用高斯核,映射到高维空间中进行求解;
七、怎么多分类?
1、直接修改目标函数,计算量很大;
2、每一类训练一个分类器,或者每两类训练一个分类器。
八、SVM适合什么样的数据?
样本少、高维稀疏、线性不可分。
九、SVM和LR不同点
1、损失函数不同;
2、SVM是结构风险最小(自带正则项),LR是经验风险最小化;
5、SVM不能产生概率,LR可以产生概率;
6、SVM会用核函数,LR不用核函数;
7、应用方面:小规模数量级SVM效果小于LR,大数据中LR好于SVM;