SVM笔记1——对SVM中超平面的理解

一.什么是超平面？

百度百科中的定义：

超平面是n维欧氏空间中余维度等于一的线性子空间，也就是必须是(n-1)维度。

这是平面中的直线、空间中的平面之推广（n大于3才被称为“超”平面），是纯粹的数学概念，不是现实的物理概念。因为是子空间，所以超平面一定经过原点。

西瓜书中的定义：

在样本空间中，划分超平面可通过如下线性方程来描述：　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

其中， 和  都是  维列向量， 为平面上的点， 为平面上的法向量，决定了超平面的方向， 是一个实数，代表超平面到原点的距离。显然，划分超平面可被法向量  和  确定。

乍一看上述两个定义有矛盾，百度百科中说超平面一定过空间中的原点；但西瓜书中说  是一个实数，代表超平面到原点的距离，因此不一定过原点。其实二者所讨论的超平面不是一种类型的超平面，百度百科定义的超平面是严格的线性子空间，即满足加法和乘法封闭性；而西瓜书中定义的超平面更像是一种仿射超平面，即任意线性子空间在任意仿射变换下的象。

---

 

好了，超平面的定义我们解释完了，让我们再回到定义超平面的线性方程中来：

对于一个三维空间中的任一平面，我们有平面的点法式方程和一般方程：

　　　　　　　　　　　　　　　　        A(x-x₀) + B(y-y₀) + C(z-z₀) = 0       和       Ax + By + Cz + D = 0   

1.平面点法式方程的推导

定义：如果一个非零向量垂直于一个平面，这向量就叫做该向量的法线向量。
法线向量的特征：垂直于平面内的任一向量。

 

 

2.平面一般方程的推导

 

 

 由此解释了为何  为法向量和  的含义。

---

---

 

二.点到超平面的距离

样本空间中的任意一点 ，到超平面  的距离，可以表示为

 

 

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　  　

点到超平面上的点为什么这么计算呢？我在这里再具体说一下。推导过程并不繁琐(这里以三维空间为例), 点到平面的距离公式(可以作为类比)：

                                        　　　　　　　　　　　　　　　　　　　　　　

                                                                           

注意：上面利用了向量内积的等价替换,例如下面2个向量做内积。

        　　　　　　　　　　　　　　　　　　　　　　　　　　

 

 

 

---

---

 

三.判断超平面的正反

一个超平面可以将它所在的空间分为两半, 它的法向量指向的那一半对应的一面是它的正面, 另一面则是它的反面。如果利用数学来判断的话，需要利用到法向量 。

若将距离公式中分子的绝对值去掉, 让它可以为正为负. 那么, 它的值正得越大, 代表点在平面的正向且与平面的距离越远. 反之, 它的值负得越大, 代表点在平面的反向且与平面的距离越远。