DW吃瓜课程——机器学习理论知识笔记（五）
本篇是针对经典教材《机器学习》及DataWhale小组出版的配套工具书《机器学习公式详解》的学习笔记，主要以查缺补漏为主，因此对于一些自己已经熟悉的概念和内容不再进行整理。由于水平实在有限，不免产生谬误，欢迎读者多多批评指正。
第六章 支持向量机
基本概念
在对样本进行分类时，一个基本的思路是寻找一个划分超平面，将不同类别的样本分开。如下图所示，特征共有两个维度，而黑色分割线代表了当前两类样本“正中心”的划分超平面，它受样本区间波动的影响最小，因此具有最好的泛化性能。我们设样本特征维度为d，则超平面表达式中的\(\boldsymbol{\omega}=(\omega_1;\omega_2;...;\omega_d)\)为法向量，b为偏移项，这两个参数可确定一个超平面，记为\((\boldsymbol{\omega},b)\)。
样本空间中任意点\(\boldsymbol{x}\)到超平面的距离可写为:
\[r=\frac{|\boldsymbol{\omega}^T \boldsymbol{x}+b |}{||\boldsymbol{\omega}||}
\]
而图中距离超平面最近的两个类别的样本所在的平行平面分别为\(\boldsymbol{\omega}^T \boldsymbol{x}+b = -1\)和\(\boldsymbol{\omega}^T \boldsymbol{x}+b = 1\)（这两个公式的形式一定可以利用参数变换得到），而上方蓝色样本\(\boldsymbol{x_i}\)满足\(\boldsymbol{\omega}^T \boldsymbol{x}+b >= 1\)，我们将其\(y_i\)值定义为+1；相应的，红色样本\(\boldsymbol{x_j}\)的\(y_j\)值定义为-1。其中两侧距离划分超平面最近的样本都被称为“支持向量”，二者到超平面的距离之和为：
\[\gamma=\frac{2}{||\boldsymbol{\omega}||}
\]
（未完待续）
参考资料：
- 《机器学习》 周志华 著
- 《机器学习公式详解》 谢文睿 秦州 著
- https://www.bilibili.com/video/BV1Mh411e7VU?p=1 《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集
