机器学习基石第五讲 Training versus Testing

一.Recap and Preview

 

 

 

 

 

第一节是对第一讲的复习

 

二.Effective Number of Lines

如果加无限多个项，每项还不是0，那么P可能就成为了一个大于1的数，这个union bound就失去了意义。

 

为什么可以使用union bound，因为发生错误的dataset很可能不太一样。

 

这句话老师反手就说不对了。。。从上面的图可以看出，发生错误的dataset很可能有很大相似的地方，我们必须找到他们重叠的部分。

 

 

 

 

如果只有一个点，那么只有两种线，一种说x1是0，一种说x1是x

 

如果有2个点，那么有四种线

 

 

 

在三个点的时候，有8条线，但如果三个点是摆在同一直线上的时候，只有6种线，三个点摆成三角形的时候可以有8条线。

 

四个点的时候，如上图，有一种线是画不出的，所以最多有14种线

 

 

 

 

三.Effective Number of Hypotheses

dichotomy：划分

 

 

 

 

 

 

大于和小于threshold的时候，分别都有两种取值，o和x，所以一共2*(N - 1)，再加上全o和全x两种情况。所以是2*N

 

四.Break Point

 

 

第一个达不到2^n的点