ML- 核函数(Kernel) 的 SVM

Why 核函数

目的是为了解决线性不可分问题.

核心思想是升维. 当样本点在低维空间不能很好地分开的时候, 可以考虑将样本通过某种映射(就是左乘一个矩阵) 到高维空间中, 然后在高维空间就容易求解一个平面 $w^Tx +b$ 将其分开了.

想法是很美滋滋, 但立马就有一个问题,计算量大, 升到几百几千维, 内存怕是受不了. 这就立马联想到PCA 降维. 我在上大学的时候, 做客户细分,和用户画像(ps, 我是市场营销专业嘛), 通常是会用到降维技术, 然后提取主成分或做因子分析, 目的都是为了降维和使数据具有可解释性. 结果核函数却要升维度, 感觉是费力费力搞了半天, 又回去了.

低高维

• 维度的理解应从向量空间去理解(构成该空间的基是几个),要从数学概念上理解. 这个什么"三维空间, 四维时间" 的物理概念是不一样的. 千万不要混淆什么时间,空间, 还有举个栗子, 如果连基本的抽象思维都没有, 那确实有些尴尬

映射(变换)

• 数据的值大小肯定跟原来的是不一样了呀. 在形式上就是左乘一个矩阵, $X' = PX$, 可理解矩阵本质是一个特殊的函数, 特殊在于它更像是咱们写代码时 自定义函数 可以完成咱自定义的功能, 如对样本进行 旋转, 拉伸(特征分解), 或拉伸旋转(SVD 分解) 等. 这些内部代码, 就封装在你定义的矩阵中.

PCA降维

• 就是对原输入样本X(矩阵) 左乘一个旋转矩阵P, 是的 PX 的方差尽可能逼近 X, 即丢掉一些方差贡献小的维度,这样就降维了呀( 注: PX 是对原X 进行线性组合了呀(加和数乘) 数据也改变了, 已经不是原来的狗子哦

真的要在高维度中进行计算?

不存在的. 天才的人类哦, 想出了所谓的 kernel trick, 核心思想是大致这样的:

在低维和高维的关系上, 构造出一一个函数, 这个函数满足, 在低维空间下对样本进行计算的结果 跟在高维中计算的结果是相近的, 果然是小小的核(壳), 大大的梦想!

这简直不要太美, 真的是事半功倍呀. 能满足这样的函数, 就是我们平时谈的核函数, 过然很 trick 呀.

进入正题, 根据之前推导出的 SVM 的dual 形式:

$max_w \ f(a) = \sum \limits _{i=1}^n a_i - \frac {1}{2} \sum \limits_{i=1}^n \sum \limits_{j=1}^n y_i y_j a_i a_j <x_i, x_j> \\ s.t.$

$0<= a_i \le C \\ \sum \limits_{i=1}^n a_i y_i = 0​$

我们引入一个函数 k, 用 $K(x_i, x_j)$ 代替 $<x_i, x_j>$

于是原来的dual变为了:

$max_w \ f(a) = \sum \limits _{i=1}^n a_i - \frac {1}{2} \sum \limits_{i=1}^n \sum \limits_{j=1}^n y_i y_j a_i a_j K(x_i, x_j)$

这就叫做带核函数的SVM, 跟之前的区别在于,样本在做点积的时候经过了一个函数去映射, 当然, 其实对应的a_i 跟原来不带核的也是变化了的.

$k(x_i, y_j) = <\phi(x_i), \phi(x_j)>$

将原始特征映射到更高维

假设升维的映射是:

$\Phi: \ X \rightarrow X' = \Phi (X) = X^2$

则:

$\Phi([x_{i1}, x_{i2}]) = [x_{i1}, x_{i2}, x_{i1} x_{i2}, x_{i1}^2, x_{i2}^2]$

这样就升高维度了哦.

Kernel Function

支持向量机通过某非线性变换 φ( x) ，将输入空间映射到高维特征空间。特征空间的维数可能非常高。如果支持向量机的求解只用到内积运算，而在低维输入空间又存在某个函数 K(x, x′) ，它恰好等于在高维空间中这个内积，即K( x, x′) =<φ( x) ⋅φ( x′) > 。那么支持向量机就不用计算复杂的非线性变换，而由这个函数 K(x, x′) 直接得到非线性变换的内积，使大大简化了计算。这样的函数 K(x, x′) 称为核函数。

Kernel 的 Mercer's Theorem

一个函数(矩阵) 要能成为核函数, 在数学上已经证明, 必须满足 Mercer 定理(后面再证吧)

Mercer 定理

如果函数是 $R^n * R^n \rightarrow n$ 上的映射 , 该函数是核函数,当且仅当, 对于训练样本点 经过映射后的,值构成的矩阵是半正定的.

半正定

对于一个对称矩阵A, $\forall \ x, 都满足 x^TAx \ge 0$ , 有很多优良的性质, 嗯,这里先空着吧, 后面专门来整整.

接着上面svm讨论:

$K(x_i, x_j) = <\Phi(x_i), \Phi(x_j)>$

需要计算一波称为 Gram 矩阵的东西:

$G_{i,j} = K(x_i, x_j)$

即样本 $x_i, x_j$ 做了K映射后的值,作为矩阵 G 的第 i 行, 第 j 列元素值 , 必须满足:

• G 是对称矩阵
• G 是 半正定矩阵, 即( $z^TGz \ge 0, \ z \in R^n$)

这样的话, K 就是一个核函数了.

常用的Kernel

就是为了方调 API提高工作效率, 当然是在前人的基础之上的. 不可能每个都去自己造轮子. 我也是, 基本上从不生产代码, 只是API的搬运工.

Polynomial Kernel (多项式核)

$K(x_i, x_j) = (<x_i, x_j> +c)^d, \ 其中c,d 都为常量$

• 当 c = 0, d=1 时, 就成为线性核, 即无核SVM $K(x_i, x_j) = <x_i, x_j>$

c 用来控制低阶项的长度

case1: $K(x_i, x_j) = (<x_i, x_j> +0)^2$

原来样本: $X_i = [x_{i1}, x_{i2}]^T , \ X_j = [x_{j1}, x_{j2}]^T$

kernel: $K(X_i, X_j) = <X_i, X_j)^2$

$=(x_{i1} x_{j1} + x_{i2} x_{j2})^2$

$= x_{i1}^2 x_{j1}^2 + x_{i2}^2 x_{j2}^2 + 2x_{i1} x_{j1} x_{i2} x_{j2} \\ =\ <\Phi(X_i), \Phi(X_j)>$

其中, 样本的变换为:

$\Phi(X_i) = [x_{i1}^2, x_{i2}^2, \sqrt {2} x_{i1} x_{i2}] \\ \Phi(X_j) = [x_{j1}^2, x_{j2}^2, \sqrt {2} x_{j1} x_{j2}$

从本例,也就是说, 该 kernel 函数实现了等价的高维映射计算 & 包含的升维 是从 2维 -> 3维

高斯核(rbf)

Gaussian Kernel 也被称为 Radial Basis Function Kernel. (咋翻译呢? 嗯, 椭圆图?) 就是在调包时候的参数 'rbf'.

$K(X_i, X_j) = e^(- \frac {||X_i - X_j||_2^2} {2 \sigma^2})$

• $\sigma$ 可以用样本方差估计总体得出哦

• $X_i = X_j$ 时, 值为1

• 随着 $X_i 与 X_j$ 距离增加, 值倾向于0 (因为$\sigma$ 变大了嘛, 钟图平缓了)

• 使用高斯核之前需要先将特征标准化

case 高斯核svm

假设通过之前svm 的dual形式下训练出的 a 为:

$a = [-0.5, 1,1, 1]$

工作的原理就是, 通过新输入的一个样本x', 与其余样本看相似度

$y = a_0 + a_1K(x_1, x_2) + a_1K(x_1, x_2+a_2K(x_1, x_2)+a_3K(x_1, x_2))$ 的正负号

假设 x' 距离x1 特别近(近1, 远0), 里其他相对远,则:

$y= -0.5 + 1*1 + 1*0 + 1*0 + 1*0 = 0.5 \ge 0$ 则x'被分为 正类

Sigmoid Kernel

激活函数核

$K(x_i, x_j) = arc \ tan(m x_i^T x_j + c)$

此时的SVM就相等于一个没有隐含层(Hidden Layer) 的简单神经网络哦

Cosine Similarity Kernel

余弦相似度核

$K(x_i, x_j) = \frac {x_i^T x_j}{||x_i|| ||x_j||}$

常用于衡量两段文字的相似性. 文本处理嘛 ,首先就是要词向量化. "相似" 的计算, 其实就是计算两个词向量的向量夹角的余弦值, 越靠近,值越接近1嘛.

Chi-squared Kernel

卡方检验核 (哎呀, 是在是不知道怎么翻译, 就是统计里的 卡方检验嘛), 跟上面差不多的

$K(x_i, x_j) = \frac {x_i^T x_j}{||x_i|| ||x_j||}$

这个在图像处理可能会用, 用于衡量概率分布的相似性,ML我倒是没有用. 卡方检验 嗯, 在我上大三的时候, 就是市场调研的数据分析, 因为要经常做假设检验 会用得多一点, 在分类样本的相关性方面.

卡方检验

• 统计样本的实际观测值与理论推断值之间的偏离程度.

• 实际观测值与理论推断值之间的偏离程度就决定卡方值的大小，如果卡方值越大，二者偏差程度越大；

• 二者偏差越小；若两个值完全相等时，卡方值就为0，表明理论值完全符合。

前面推导了这么多, 就是为了得到这么一个东西:

$max_w \ f(a) = \sum \limits _{i=1}^n a_i - \frac {1}{2} \sum \limits_{i=1}^n \sum \limits_{j=1}^n y_i y_j a_i a_j K(x_i, x_j)$

因此, 怎么理论落地, 用写代码的方式求解, 这就有点东西了, 其实, 写为上面的形式, 个人感觉就是为了写代码求解 a 做准备哦.

小结(svm)理论

• convex (KKT)

• max margin

• svm primal

• svm dual (lagrange)

• slack svm

• kernel svm

还有就是求解 smo , 多分类应用这些了.主要理论其实到这里感觉就差不多了.对于来说.