week_7

Andrew Ng 机器学习笔记 ---By Orangestar

Week_7

This week, you will be learning about the support vector machine (SVM) algorithm. SVMs are considered by many to be the most powerful 'black box' learning algorithm, and by posing a cleverly-chosen optimization objective, one of the most widely used learning algorithms today.

1. Optimization Objective

更加强大的方法：支持向量机SVM（support vectors machine）

首先，我们需要从优化开始。
支持向量机(Support vector machine)通常用在机器学习 (Machine learning)。是一种监督式学习 (Supervised Learning)的方法，主要用在统计分类 (Classification)问题和回归分析 (Regression)问题上。其中SVM的代价函数如下所示：

这个代价函数是由logistic regression变化过来的,只需将下图同时乘以m，除以λ即可得到SVM的代价函数。即SVM的损失函数的形式为CA+B，而逻辑回归损失函数的形式为A+\(\lambda\)B

其中总结如下：

还有一个问题，是给第一项更大的权重还是第二项，可以通过不同的方式来选择正则项

2. Large Margin Intuition

现在我们的代价函数变化了，所以我们想要的也稍微有些变化：

当然，对于正则项：

这样我们就会得到一个很有趣的决策界限

注意观察图像，黑色是最好的一条决策界限

所以，支持向量机也可以叫做大间距分类器

所以。正则化参数C的设置是非常关键的。如何处理这种参数的平衡？且听下回分解。

× 3. Mathematics Behind Large Margin Classification（optional）

为什么这样的代价函数就可以得到这样的大间距分类器，即支持向量机？

首先，我们先回顾一下向量内积的知识

超级简单的回顾一哈。

然后，可以观察前面的项和正则化项的联系，通过向量的定义！
我们先简化计算，把\(\theta_0\)当做0来处理
为什么不会选择黄色线？
仔细想想向量点积的几何意义！如果这样的话，就会非常小！意思是\(\theta\)的范数会十分大！
然后对比一下右图的绿色线！
这样P和\(\theta\)相乘就变大了！！！

这样就得到了一个大间距分类器
（找到了一个\(\theta\)较小的范数）

当然，\(\theta_0\)也可以不为0.
但是无论如何，都会优化这个函数

4. Kernels I

构造浮躁的非线性分类器
使用kernels
核函数（也叫高斯核函数）

这是相似度函数

注意观察，当x越靠近l 的时候，函数值越接近于 0 。然后随着 \(\delta\)的变大，越大的话图像越胖，但是最高高度不变

所以，由这张图，思考一下，为什么这样可以表示多变量的分类器？
有3个点，越接近一个点，其对应的值越接近1 。越远离，其对应的值越接近于 0-
这就是如何用核函数来实现复杂的非线性分类器!!
但是，仍有一些不懂的，其中一个是我们如何得到这些标记点 我们怎么来选择这些标记点另一个是 其他的相似度方程是什么样的 如果有其他的话我们能够用其他的相似度方程来代替我们所讲的这个高斯核函数吗