【SVM】A Practical Guide to Support Vector Classi cation

零、简介

　　一般认为，SVM比神经网络要简单。

　　优化目标：

　　

　　函数phi(x)会把训练样本x映射到高维(或无穷维)的空间中。

　　基本的核：

　　

 

一、实际运用

　　一般流程：

　　

 

二、数据处理

2.1 离散特征

　　建议用m个数字表示某个离散特征的m个可取的值。m个数字中只有一个取1，其他的都取0。

　　比如｛红，黄，蓝｝分别表示为(1,0,0), (0,1,0), (0,0,1)

2.2 规格化

　　核的值通常与特征向量的内积有关。

　　训练集和测试集必须用相同的规格化方法。

 

三、模型选择

3.1 优先选择RBF核

　　1、它能把映射到高维空间，处理线性不可分的情况。

　　2、超参数的数量影响计算的复杂度，多项式核比RBF核有更多的超参数

　　3、。。。

　　当特征很多时，一般就用线性核。

3.2 cross-validation 和Grid-search

 

四、discussion

　　有时，还必须使用特征选择features Selection等技术。