摘要：
线性支持向量机。 在这种分类问题中，我们需要选一条最“胖”的线，而这条最胖的线就是margin largest的线。 我们的优化目标就是最大化这个margin。也就是在最小化每一个点到这条线的距离。这个距离怎么计算呢？ 为了以后不会混淆，w0就不整合成向量w了，另外取一个新名字b。同样地，x0=1也 阅读全文
摘要：
1. Occam's Razor Entities must not be multiplied beyond necessity. 如无必要，勿增实体。 我们要寻找简单的hypothesis和简单的模型： 简单的效果： 2. Sampling Bias 如果我们原始数据是由bias的，那么我们通过 阅读全文
摘要：
本节课主要讲述怎样在模型和参数之间做选择。 把已知的数据中分出一部分来当做validation的数据，用来验证我们hypothesis的表现。 validation和真实Eout的差距： 我们用validation得到最好的模型之后，再把所有的数据合起来再去做训练，因为N变大了，所以得到的结果的Eo 阅读全文
摘要：
本节课主要讲述正则化。 既然我们说高复杂度的函数和低复杂度的函数是包含的关系，那我们通过'step back'的方式退回去就好了。 那么怎么样退回去呢？ 其实，高次多项式和低次多项式的差别就在于w。只要我们限制了有多少个为零的w，就可以间接控制多项式的复杂度。转化成最优化的视角，就是找一些w使得Ei 阅读全文
摘要：
本节课程主要讲述过拟合。 VC Dimension过大的时候会发生Bad Generalization，也就是Ein很低，但是Eout很高的情况。没有办法做举一反三的学习。 Ein越做越好，但是Eout却上升了。这种情况叫做过拟合。 欠拟合就是做的不好的情况，通过增加VC Dimension可以解决 阅读全文
摘要：
本节课重要讲述非线性的问题怎么样才能变成线性的分类问题。 到目前为止，我们会用模型进行线性的分类（左图），但是遇到右图的样子的时候，还是不能用一条线将它们分开。 但是右图视觉上，明显是可以用一个圆来进行分类的，假设一个半径为0.6的圆： 将上面的方程式进行展开和赋值，通过转换，再一次把圆形的方程式换 阅读全文
摘要：
先复习一下已经学过的三个模型： 和他们关于error的衡量： 三种error的关系： 加上VC理论： 如此就证明了regression是可以用来替代classification的。下面是几种方法的优缺点： linear regression看起来是一个不错的方法，我们可以用它来设定PLA或者LR的w 阅读全文
摘要：
如果我们想要知道的并不是绝对的是或者非，我们只想知道在是非发生的概率（只想知道概率，不想知道结果）是多少的时候： 虽然我们想要知道左边的完美数据，但是在实际生活中，我们只有右边的数据，也就是一些确定的结果，不可能有概率值这个事情让我们知道。而右边的数据可以看成是有噪声的不完美的数据。 怎么解决这样的 阅读全文