A Practical Guide to Support Vector Classi cation

《A Practical Guide to Support Vector Classication》是一篇libSVM使用入门教程以及一些实用技巧。

 

1. Basic Kernels：

（1）linear

（2）polynomial

（3）radial basis function

（4）sigmoid

 

2. Scaling：

Scaling对于SVM非常重要，可以避免某个维度上的值很大，会主导那些值很小的维度。另一个好处是避免复杂的数值计算。另外需要注意的是，在对training data和testing data进行scaling的时候，要使用相同的缩放倍数。即当training data的某一个维度上使用k的缩放倍率scaling到了[-1,1]上的话，那么在testing data上也需要对相应维度进行k的缩放倍率的scaling处理。

 

3. Cross-validation and Grid-search：

（1）cross-validation可以防止过拟合。

（2）可以先粗糙地grid search，即grid-search的间隔大一点。当确定在某一间隔中表现较好的时候，再进行更精细的grid search，即在这一间隔中采取较小的间隔进行grid-search。

 

4. When to Use Linear but not RBF Kernel：

如果features的维度>>数据量，那么就并不需要将数据映射到更高维度的空间了。或者说，非线性的映射并不能带来多大的性能提升。

如果数据量>>features的维度，那么，可以使用非线性映射将features映射到更高维度的空间上去。