机器学习基石的泛化理论及VC维部分整理（第五讲）
第五讲 Training versus Testing
一、问题的提出
\(P_{\mathcal{D}}\left [ BAD \mathcal{D} \right ] \leq 2M \cdot exp(-2\epsilon^2N)\)
\(\Leftrightarrow P_{\mathfrak{D}}\left [ \left | E_{out} - E_{in} \right | > \epsilon \right ] \leq 2M \cdot exp(-2\epsilon^2N) \)
（1） 当\(M < \infty \) 时，\(N \) 足够大，则说明犯错误的概率是比较小的，可推导出 \(E_{in} \approx E_{out}\)，如果\(E_{in}\)接近于 0 时，则 \(E_{out}\)接近于零。
（2） 上一节林老师也说了，当\(M = \infty \) 时，就没法学习了，因为上界比较大，犯错误的概率比较大，得出无法进一步的学习。学出来的错误概率比较大。
其中 \(M\) 是 Hypothesis Set 中 Hypothesis的个数
但是上一节的时候，算出的概率是 or 的关系，为各个犯错的概率之和， 那么这里面就应该有一部分可能存在着重复了，上界就显得过大了。当\(M = \infty \) 时，是无法进行有效学习的；实际上，由于不同的hypothesis下发生坏事情是有很多重叠的，其实我们可以得到比\(M\) 小很多的上界。
我们可以将这些具有很多重叠的hypothesis进行分组，根据组数来考虑hypothesis set的大小。
二、以二值分类为例来解决hypothesis set的个数上界问题。
从有限个输入数据的角度来看 hypothesis的种类，
（1）最简单的，一个数据，会有两种hypothesis， \(h_{1}(x) = +1 或 h_{2}(x) = -1 \)
（2）两个数据，会有四种hypothesis, 具体如下:
\(h_{1}(x_{1}) = +1, h_{1}(x_{2}) = +1\)
\(h_{2}(x_{1}) = +1, h_{2}(x_{2}) = -1\)
\(h_{3}(x_{1}) = -1, h_{3}(x_{2}) = +1\)
\(h_{4}(x_{1}) = -1, h_{4}(x_{2}) = -1\)
以此类推，对于\(N\)个点来说，最多有\(2^N\)个假设；这里说的是最多，也是最理想的，事实上还会小，那么在什么情况下会小呢？ 比如有四个点时，对角线相同的四个点就是不可行的，如下图
就是说找不到一条直线把上面四个点分开，那么上述四个点到底有多少个呢？除了上图，还有圈圈和叉叉交换的情况，应该是\(2^4 - 2 = 14 \) 种
同理可知，当\(N\) 比较大的时候，有效 hypothesis的数量应该是远远小于 \(2^N\)的，
在这种情况下，林老师给了一个定义，叫做dichotomy，字面意思是二分法，其实就是 Effective Hypothesis
看到论坛里也有同学问道什么叫 from the eyes of data, 其实就是从数据的角度去看，我们有多少个有效的Hypothesis，那么这里有效的Hypothesis个数会随着数据的个数变化而变化，从上面的例子可以看出来，这个个数将随着数据的个数增加而增加，在林老师的视频里，又给出了一个函数，叫做 Growth Function.
三、Growth Function
\(Growth Function = m_{H}(N)\)，具体的函数就记为\(m_{H}(N)\)了。
林老师举例说明了几类问题的Growth Function：
（1）\(\mathcal{X}=\mathcal{R} \) （一维实属空间）, \( positive ray, h(x) = sign(x-a) \)，就是说当\(x > a \)时（\(a\) 是参数），\(h(x) = +1, otherwise h(x) = -1\)
它的Growth Function为：\( m_{\mathcal{H}}(N) = N + 1\)，林老师在视频里也画了一条射线，把\(N\)个点标好，那么\(a\)的取值范围可有\(N + 1\)个，两个点之间的为\( N - 1\)个， 全是圈圈的一个，全是叉叉的还有一个，所以是\(N - 1 + 2 = N + 1\)个。
视频上还有个Fun time， 说如果是positive and negative rays，怎么办呢？也就是说可能有两种情况，原来 \(x > a \) 时，\(h(x) = +1, otherwise h(x) = -1\)，如果还有negative的话，就还有一种\(x > a \) 时，\(h(x) = -1, otherwise h(x) = +1\)，那么情况就有些变化了，如果\(a\)在两点之间的话会有\( 2(N - 1)\)个，而两端的还是只有一个分法，总共加起来就是会有\(2N\)个。
（2）\(\mathcal{X}=\mathcal{R} \) ，\( x \in [a,b), h(x) = +1, otherwise -1\)，这有两个参数\(a,b\)。 则它的Growth Function为什么？
可以分析一下，假设在一条射线上标\(N\)个点，那么总共有\(N + 1\)个区间，这个问题可分为两类，一类是\(a, b \) 取不同区间的，那么就是\( \binom{N+1}{2}\) 种取法，还有一类是\(a, b \)在一个区间内，那么这个就只有一种取法，即所有点都为叉叉。 故Growth Function为 \( \binom{N+1}{2} + 1 = \frac{1}{2}N^2 + \frac{1}{2}N +1\)
（3）\(\mathcal{X}=\mathcal{R}^2 \) ，在二维实数空间里，凸集里，\(h(x)\)为一个任意的凸多边形，在多边形内部的为1，外部的为 -1，Growth Function为 \(2^N\)
（4）Perceptron的Growth Function不知道，但是我们知道最大可shatter的点个数，为3，4个时就没法shatter了，因为\(2^4 = 16， \)而在四个点时，有两种情况不能发生，所以四个点不能被shattered，
根据Growth Function可以得到另外一个重要概念，Break Point， 就是可被Shattered的最大点个数，也就是说当 \(m_{\mathcal{H}}(k) < 2^k\)，这个\(k\)之后的就是Break Point，顾名思义，Break Point在这个点就Break了，什么Break呢？是全部shattered的情况被中断了。
后面讲到，这个就是VC Bound。
对于之前的几个例子我们可知，（1）的Break Point是2，（2）的Break Point是3，（3）的Break Point没有，（4）的Break Point是4。
