支持向量机

支持向量机（SVM）的概念

• 主要思想：可以在逻辑回归的基础上修改，修改代价函数，去掉1/m，正则项去掉$\lambda$，代价项增加C；这些更改使得函数在保证算法性能的基础上减少运算量，同时直接给出预测结果而不是预测概率
    1）修改代价函数：
      原逻辑回归对针对一项样本的代价计算：$-yln(h_{\theta}(x))-(1-y)ln(1-h_{\theta}(x))$
      修改后y=1时针对一项样本的代价计算：$cost_{1}(\theta^{T}x)$
      修改后y=0时针对一项样本的代价计算：$cost_{0}(\theta^{T}x)$
      cost函数是对当y=1和y=0时近似模拟得到的曲线
  （图1）
    2）去掉1/m：整体的常数项系数并不影响整体的最小值求解
    3）正则项去掉$\lambda$，代价项增加C：可以理解为C是$\frac{1}{\lambda}$
      对于逻辑回归的正则化函数可以理解为$A+\lambda B$，其中$\lambda$是权衡A和B最小化的比重
      对于修改后的函数可以理解为$CA+B$，其中C是权衡A和B最小化的比重，所以也可以理解上认为C是$\frac{1}{\lambda}$
• 最终的代价函数以及预测函数$h_{\theta}(x)$的变化：
    其中对于$h_{\theta}(x)$来说-1到1的间距是一个安全因子

$$\underset{\theta}{min}C\sum_{i=1}^{m}[y^{(i)}cost_{1}(\theta^{T}x^{(i)})+(1-y^{(i)})cost_{0}(\theta^{T}x^{(i)})]+\frac{1}{2}\sum_{j=1}^{n}\theta_{j}^{2} \\h_{\theta}(x)=\left\{\begin{matrix} 1&\theta^{T}x\geq1\\ 0&\theta^{T}x\leq-1 \end{matrix}\right.$$

• 大间隔分类器的直观理解
    当C很大时“大间隔”会比较形象的显现出来（大间隔是指样本到决策界限的间距，大间隔分类器通常使用尽可能大的间距分隔不同种类的样本）
• 大间隔分类器的数学原理
    首要前提：当C很大时，相当于给优化问题增加了约束条件（因为要使cost尽可能小）：

$$s.t.\;\;\theta^{T}x^{(i)}\geq1\;,if\;\;y=1 \\\theta^{T}x^{(i)}\geq-1\;,if\;\;y=0$$

        最小化的其它工作：因为前面一项接近于0，剩下就是$\frac{1}{2}\sum_{j=1}^{n}\theta_{j}^{2}$的最小化，即目标是找到使得$\left \| \theta \right \|$尽可能小的$\theta$
        转化向量内积表达：$\theta^{T}x^{(i)}=p^{(i)}\left \| \theta \right \|$，其中$p^{(i)}$可以视作样本i对应的坐标到决策界限的距离（$p^{(i)}$直观意义是样本i对应的向量在$\theta$对应的向量上的投影长度，这是因为由决策界限表达式$\theta^{T}x^{(i)}=0$可知$\theta$向量垂直于决策界限）
        预测函数的决策范围：因为只有当$p^{(i)}\left \| \theta \right \|\geq 0$时才有y=1（或反之），而$\left \| \theta \right \|$是在最小化过程中最小化的对象，这使得$p^{(i)}$只能尽可能大，即样本点到到决策界限的距离要尽可能大，这也说明了大间隔的由来（SVM具有大间距分类器的性质）

核函数

特征构造

• 选取标记：在特征空间中中指定几个点作为标记（给定样本维数为n，特征空间就是n维，不包括常数项）
• 核函数概念：类似于各种相似度度量的函数，一般表达为$f_{i}=k(x,l^{(i)})$
• 高斯核函数：$f_{i}=exp(-\frac{\left \|x-l^{(i)}\right\|^{2}}{2\varepsilon ^{2}})$
• 核函数的使用：在预测函数$h_{\theta}$中的$\theta^{T}x$中，用构造的特征$f_{i}$取代$x_{i}$（除了偏置项）
• 对于给定样本$x^{(i)},y^{(i)}$：确定特征向量$f^{(i)}$，其中$f_{j}^{(i)}=k(x^{(i)},l^{(j)}),f_{0}^{(i)}=0$，且$l^{(j)}=x^{(j)}$，所以该向量中元素$f_{i}^{(i)}=1$（使用高斯核函数）
• 对于正则化项$\frac{1}{2}\sum_{j=1}^{n}\theta_{j}^{2}$，注意到可以向量化表示为$\frac{1}{2}\theta^{T}\theta$的形式，而一般的支持向量机里人们还会在上面做出一点改变：$\frac{1}{2}\theta^{T}M\theta$，这使得支持向量机能更有效率地工作，使得其能运用在更大的训练集上

参数的选择

• C参数：C过大，对应着低偏差高方差，倾向于过拟合；C过小，对应着高偏差低方差，倾向于欠拟合；
• $\sigma^{2}$参数：$\sigma^{2}$过大，$f_{i}$变化平缓，对应着高偏差低方差，倾向于欠拟合；$\sigma^{2}$过小，$f_{i}$变化不平缓，对应着低偏差高方差，倾向于过拟合；

SVM的使用

内核函数的选择

• 线性内核函数（无核函数）：该函数没有内核参数，直接使用$\theta^{T}x$预测（比如$\theta^{T}x>0$时$y=1$）

  使用：1）当特征数n较大样本量m较小时使用（避免陷入过拟合）；

  2）当n较小m很大时适当增加特征数再使用（提高拟合速度）

• 高斯内核函数：使用$f_{i}=exp(-\frac{\left \|x-l^{(i)}\right\|^{2}}{2\varepsilon ^{2}})$代替$\theta^{T}x$中的$x_{i}$进行预测

  使用：当特征数n较小样本量m始终或较大（不是很大）时使用（拟合复杂的曲线，同时比神经网络快）

  注意：样本变量在使用前记得先规范化，避免某个变量占很大比重的情况

• 其它内核函数：其它核函数都比较少用，且只有满足莫塞尔定理的核函数才能用于SVM中

  多项式核函数（Polynomial kernel）：$(x^{T}l+系数)^{degree}$，通常用在x和l都是严格非负数的情况下

  其它：String kernel，chi-square kernel， histogram intersection kernel...

与其他拟合方法的比较

• 逻辑回归：SVM与逻辑回归实际上相类似，大部分能使用线性内核函数或逻辑回归的问题中，结果都比较相近，两者其中一个能适用的情况下另一个回归方法都可能有不错的效果，像n较大m较小或n较小m很大的情况下都可以使用逻辑回归，其特征的获取与线性内核函数中的做法相类似
• 神经网络：对于三种不同的n和m规模情况，一个设计得好的神经网络都可以获得不错的结果，但许多情况下神经网络的训练都特别慢，这时候使用SVM可以提高训练效率；此外关于局部最优，这对于神经网络来说不是个大问题，而好的SVM包通常也会找到全局最小值或接近全局最小的值（SVM的优化问题是一种凸优化问题）