Perceptron, Support Vector Machine and Dual Optimization Problem (2)

Generalizing Linear Classification

假设我们有如上图的 training data，注意到此时 \(\mathcal{X} \subset \mathbb{R}^{2}\)。

那么 decision boundary \(g\)：

\[g(\vec{x}) = w_{1} x_{1}^{2} + w_{2} x_{2}^{2} + w_{0} \]

即，decision boundary 为某种椭圆，例如：半径为 \(r\) 的圆（\(w_{1} = 1, w_{2} = 1, w_{0}=-r^{2}\)），如上图中的黑圈所示。我们会发现，此时 decision boundary not linear in \(\vec{x}\)。

但是，\(g(\vec{x}) = w_{1} x_{1}^{2} + w_{2} x_{2}^{2} + w_{0}\) 在某些空间里却是线性的：

\[\begin{align*} g(\vec{x}) & = w_{1}x_{1}^{2} + w_{2}x_{2}^{2} + w_{0} \qquad \qquad (\text{non-linear in $x_{1}$ and $x_{2}$}) \\ & = w_{1}z_{1} + w_{2}z_{2} + w_{0} \qquad \qquad \; (\text{linear in $z_{1}$ and $z_{2}$}) \end{align*} \]

因此，如果我们对数据进行特征变换（feature transformation）：

\[\phi(x_{1}, x_{2}) \longrightarrow (x_{1}^{2}, x_{2}^{2}) \]

那么 \(g\) 在 \(\phi -\) transformed feature space 中变为线性的。

---

Geometric view on feature transformation

---

Feature Transformation for Quadratic Boundaries

\(\mathbb{R}^{2}-\) case

generic quadratic boundary 如下：

\[\begin{align*} g(\vec{x}) & = w_{1} x_{1}^{2} + w_{2} x_{2}^{2} + w_{3} x_{1} x_{2} + w_{4} x_{1} + w_{5} x_{2} + w_{0} \\ & = \sum\limits_{p + q \leq 2} w^{p, q} x_{1}^{p} x_{2}^{q} \end{align*} \]

feature transformation 则为：

\[\phi(x_{1}, x_{2}) \longrightarrow (x_{1}^{2}, x_{2}^{2}, x_{1}x_{2}, x_{1}, x_{2}, 1) \]

---

\(\mathbb{R}^{d}-\) case

generic quadratic boundary 如下：

\[g(\vec{x}) = \sum\limits_{i, j = 1}^{d} \sum\limits_{p + q \leq 2} w_{i, j}^{p, q}x_{i}^{p}x_{j}^{q} \]

feature transformation 则为：

\[\phi(x_{1}, \ldots, x_{d}) \longrightarrow (x_{1}^{2}, x_{2}^{2}, \ldots, x_{d}^{2}, x_{1}x_{2}, \ldots, x_{d-1} x_{d}, x_{1}, x_{2}, \ldots, x_{d}, 1) \]

• 注意，以上的 \(\mathbb{R}^{2}\) 以及下面会提到的 \(\mathbb{R}^{d}\) 指的是数据的维度。

---

Theorem.

给定 \(n\) 个互不相同的数据点：\(\mathcal{X} = \left\{ \vec{x_{1}}, \vec{x_{2}}, \ldots, \vec{x_{n}} \right\}\)，总是存在一个 feature transformation \(\phi\)，使得无论的 \(\mathcal{S} = \mathcal{X} \times \mathcal{Y}\) 的 label 如何，它在 transformed space 中总是线性可分的。

---

Proof.

给定 \(n\) 个数据点，考虑以下映射（映射至 \(\mathbb{R}^{n}\)）：

\[\phi(\vec{x_{i}}) \longrightarrow \begin{pmatrix} 0 \\ \vdots \\ 0 \\ 1 \\ 0 \\ \vdots \\ 0 \end{pmatrix} \]

即，映射为一个 one-hot 向量，除第 \(i\) 行处为 \(1\)，其它坐标处的值都为 \(0\)。

那么，由 linear weighting \(\vec{w}^{*} = \begin{pmatrix} y_{1} \\ \vdots \\ y_{n} \end{pmatrix}\) 引出的 decision boundary 完美地分割了 input data。

• 解释：

  证明的意思是，输入的数据有 \(n\) 个。对于每一个数据点，feature transform 到一个 one-hot vector，只有这条数据在输入的 \(n\) 个数据中排的位置所对应的坐标处取 \(1\)，其余全部取 \(0\)。假设输入三个数据：\(\vec{x_{1}}, \vec{x_{2}}, \vec{x_{3}}\)，则：

  
  
  \[\phi(\vec{x_{1}}) = \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix} \qquad \phi(\vec{x_{2}}) = \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix} \qquad \phi(\vec{x_{3}}) = \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix} \]

---

这样极端的操作有利有弊：

• 优点：

  
  

  任意的问题都将变为 linear separable。

  
  

• 缺点：

  
  

  1. 计算复杂度：

     
     

     generic kernel transform 的时间复杂度通常是 \(\Omega(n)\)，有些常用的 kernel transform 将 input space 映射到 infinite dimensional space 中。

     
     

  2. 模型复杂度：

     
     

     模型的概括能力（generalization performance）通常随模型复杂度的下降而下降。即，若向简化模型，通常需要以牺牲模型的表现作为代价。

---

• 回顾时间复杂度 \(T(n) = \Omega \big( f(n) \big)\) 的定义：

  
  
  \[\exists c > 0: ~ \exists n_{0} \in \mathbb{N}^{+}: ~ \forall n \geq n_{0}: ~ T(n) \geq c \cdot f(n) \]
  
  

  那么 \(\Omega(n)\) 满足：

  
  
  \[\exists c > 0: ~ \exists n_{0} \in \mathbb{N}^{+}: ~ \forall n \geq n_{0}: ~ T(n) \geq cn \]
  
  

  也就是说时间复杂度最低也与 \(n\) 呈线性。

---

The Kernel Trick (to Deal with Computation)

如果直接暴露在 generic kernel space \(\phi(\vec{x_{i}})\) 中进行运算，需要时间复杂度 \(\Omega(n)\)。但是相对而言地，kernel space 中的两个数据点的点积可以被更快地求出，即：

\[\phi(\vec{x_{i}}) \cdot \phi(\vec{x_{j}}) \]

---

Examples.

• 在 \(\mathbb{R}^{d}\) 空间中的数据的 quadratic kernel transform：

  
  

  • Explicit transform：\(O(d^{2})\)
    
    

    \[\vec{x} \longrightarrow (x_{1}^{2}, \ldots, x_{d}^{2}, \sqrt{2} x_{1} x_{2}, \ldots, \sqrt{2} x_{d-1} x_{d}, \sqrt{2} x_{1}, \ldots, \sqrt{2} x_{d}, 1) \]
    
    

  • Dot products：\(O(d)\)

    
    
    \[(1 + \vec{x_{i}} \cdot \vec{x_{j}})^{2} \]

• 径向基函数（Radial Basis Function, i.e., RBF）：

  
  

  • Explicit transform：infinite dimension！
    
    

    \[\vec{x} \longrightarrow \Big( \big( \frac{2}{\pi} \big)^{\frac{d}{4}} e^{-||\vec{x} - \alpha||^{2}} \Big)_{\alpha \in \mathbb{R}^{d}} \]
    
    

  • Dot products：\(O(d)\)

    \[e^{-||\vec{x_{i}} - \vec{x_{j}}||^{2}} \]

---

Kernel 变换的诀窍在于，在实现分类算法的时候只通过 “点积” 的方式接触数据。

---

Examples.

The Kernel Perceptron（核感知机）

回忆感知机算法，更新权重向量的核心步骤为：

\[\vec{w}^{(t)} \leftarrow \vec{w}^{(t-1)} + y \vec{x} \]

等价地，算法可以写为：

\[\vec{w} = \sum\limits_{k=1}^{n} \alpha_{k} y_{k} \vec{x_{k}} \]

其中，\(\alpha_{k}\) 为在 \(\vec{x_{k}}\) 上发生错误的次数。

因此，分类问题变为：

\[\begin{align*} f(\vec{x}) & = \text{sign}(\vec{w} \cdot \vec{x}) \\ & = \text{sign} \big( \vec{x} \cdot \sum\limits_{k=1}^{n} \alpha_{k} y_{k} \vec{x_{k}} \big) \\ & = \text{sign} \big( \sum\limits_{k=1}^{n} \alpha_{j} y_{k} (\vec{x_{k}} \cdot \vec{x}) \big) \end{align*} \]

其中 \(\vec{x}\) 输入函数 \(f\) 的新数据向量，注意与 \(\vec{x_{k}}\) 区分。

因此，在空间内的分类问题：

\[f(\vec{x}) = \text{sign} \big( \sum\limits_{k=1}^{n} \alpha_{j} y_{k} (\vec{x_{k}} \cdot \vec{x}) \big) \]

若在 tranformed kernel space 中处理，则：

\[f\big( \phi(\vec{x}) \big) = \text{sign} \Big( \sum\limits_{k=1}^{n} \alpha_{k} y_{k} \big( \phi(\vec{x_{k}}) \cdot \phi(\vec{x}) \big) \Big) \]

算法具体如下：

\[\begin{align*} & \text{Initialize}: \vec{\alpha} = \vec{0} \\ & \\ & \text{for } t = 1, 2, 3, \cdots, T: \\ & \\ & \qquad \text{若存在} (\vec{x_{i}}, y) \in \mathcal{S} \text{ s.t. : } \text{sign} \Big( \sum\limits_{k=1}^{n} \alpha_{k} y_{k} \big( \phi(\vec{x_{k}}) \cdot \phi(\vec{x_{i}}) \big) \Big) \neq y_{i}: \\ & \qquad \qquad \alpha_{i} \leftarrow \alpha_{i} + 1 \end{align*} \]

在最后注意到，\(\sum\limits_{k=1}^{n} \alpha_{k} y_{k} \big( \phi(\vec{x_{k}}) \cdot \phi(\vec{x}) \big)\) 中的点积 \(\phi(\vec{x_{k}}) \cdot \phi(\vec{x})\) 是相似度（similarity）的一种衡量方式，故自然能够被其它自定义的相似度衡量方式所替换。

所以，我们可以在任意自定义的非线性空间中，隐性地（implicitly）进行运算，而不需要承担可能的巨大计算量成本。