Kernel Methods (6) The Representer Theorem

The Representer Theorem, 表示定理.
给定:

• 非空样本空间: \(\chi\)
• \(m\)个样本:\(\{(x_1, y_1), \dots, (x_m, y_m)\}, x_i in \chi, y_i \in R\)
• 非负的损失函数: \(J:(\chi \times R^2)^m \to R^+\). 这个符号表示初看挺别扭的, 从wikipedia上抄来的. 含义是\(J\)有\(m \times 3\)个参数, 3代表: 样本\(x_i\) (一个\(\chi\))+ 它的目标值\(y_i\)(一个\(R\)) + 估计值 \(f(x_i)\) (另一个\(R\))
• 一个正半定kernel function : \(\kappa: \chi^2 \to R\)
• \(\kappa\)对应的再生核希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS) \(H\)
• 一个递增函数\(g\)
  优化问题:

\[argmin_h J = argmin_h J(x_1, y_1, h(x_1), \dots, x_m, y_m, g(||h||^2)) \]

如果\(h^* \in H\)是一个最优解,\(h*\)必具有以下形式:

\[h^* = \sum_{i=1}^m \alpha_i \kappa(x_i, \cdot) \]

可能是理解不够吧, 感觉也就那样:

• SVM要去掉bias才符合.(将\(x\)增广可将\(b\)并入\(w\)处理)
• 只说明形式, 对得到\(\alpha\)的值并没有帮助.

所以证明就不管了, 知道有这么回事就行了. 以后若需要深入了解, 可以参考pdf