DW吃瓜课程——机器学习理论知识笔记（五）

本篇是针对经典教材《机器学习》及DataWhale小组出版的配套工具书《机器学习公式详解》的学习笔记，主要以查缺补漏为主，因此对于一些自己已经熟悉的概念和内容不再进行整理。由于水平实在有限，不免产生谬误，欢迎读者多多批评指正。

第六章 支持向量机

---

基本概念

在对样本进行分类时，一个基本的思路是寻找一个划分超平面，将不同类别的样本分开。如下图所示，特征共有两个维度，而黑色分割线代表了当前两类样本“正中心”的划分超平面，它受样本区间波动的影响最小，因此具有最好的泛化性能。我们设样本特征维度为d，则超平面表达式中的$\boldsymbol{\omega}=(\omega_1;\omega_2;...;\omega_d)$为法向量，b为偏移项，这两个参数可确定一个超平面，记为$(\boldsymbol{\omega},b)$。

样本空间中任意点$\boldsymbol{x}$到超平面的距离可写为:

$$r=\frac{|\boldsymbol{\omega}^T \boldsymbol{x}+b |}{||\boldsymbol{\omega}||}$$

而图中距离超平面最近的两个类别的样本所在的平行平面分别为$\boldsymbol{\omega}^T \boldsymbol{x}+b = -1$和$\boldsymbol{\omega}^T \boldsymbol{x}+b = 1$（这两个公式的形式一定可以利用参数变换得到），而上方蓝色样本$\boldsymbol{x_i}$满足$\boldsymbol{\omega}^T \boldsymbol{x}+b >= 1$，我们将其$y_i$值定义为+1；相应的，红色样本$\boldsymbol{x_j}$的$y_j$值定义为-1。其中两侧距离划分超平面最近的样本都被称为“支持向量”，二者到超平面的距离之和为：

$$\gamma=\frac{2}{||\boldsymbol{\omega}||}$$

（未完待续）

参考资料：

1. 《机器学习》 周志华 著
2. 《机器学习公式详解》 谢文睿 秦州 著
3. https://www.bilibili.com/video/BV1Mh411e7VU?p=1 《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集