机器学习技法--学习笔记03--Kernel技巧
背景
上一讲从对偶问题的角度描述了SVM问题，但是始终需要计算原始数据feature转换后的数据。这一讲，通过一个kernel（核函数）技巧，可以省去feature转换计算，但是仍然可以利用feature转换的特性。
什么是kernel
Kernel的其实就是将向量feature转换与点积运算合并后的运算，如下，
概念上很简单，但是并不是所有的feature转换函数都有kernel的特性。
Kernel化的SVM
在对偶化的SVM解中，有三个地方会使用到kernel
- 计算截距b
- 计算QP中的Q矩阵
- 预测分类
使用了kernel，w的具体值都无需计算，因为没有地方会直接使用w。这也是为什么上一讲花了那么大的精力描述对偶化的SVM解。
常见kernel
常见kernel有多项式，高斯和线性，各有利弊。
线性kernel
不做feature转换，直接使用。不需要使用对偶技巧，直接使用linear hard SVM解。
优点：计算效率高；结果解释性好。
缺点：需要数据线性可分
多项kernel
对x进行多项式展开，一般的形式为
其中a，b，Q为常量。
优点：相比线性kernel，对数据要求没有那么严格
缺点：需要选择的系数较多；Q太大会超出一些计算机的精度，一般Q<=3。
高斯Kernel
有些资料也称为RBF(Radial Base Function)，一般形式为
其中a(>0)是常量。高斯kernel厉害的地方是可以将原始数据x映射到无线维度空间中，x下面取a=1的例子
上面的变化采用了Taylor展开，接着
其中特征转化为
这样，就完成了向无线维度转换，RBF是不是很厉害！
优点：调试的系数较少；比线性和多项式更强大，几乎可以适应所有数据；不容易出现计算精度问题
缺点：无线维度无法解释；太强大，容易过拟合；计算开销大。
总结
个人感觉，核函数是SVM画龙点睛之笔，真的很佩服发现kernel的科学家。在实际使用SVM的过程中，很大一部分精力可能就是选择kernel和相关系数。Kernel还可以自定义，但是需要满足一些条件，具体可以参考讲义相关部分。
