VC Dimesion

Review

当break point k存在时，m（N）就会被N的k-1次方bound住。

条件：

VC Dimesion
定义：在VC Dimesion中h可以shattere某N个点，超过VC Dimesion时（即到k）时，就会出现不能shattered的情况。
因此：

可以推出：


注意：当一组N < VC Dimesion时，也不一定能被shattered。当然其他组N可能会被shattered，任意一组能被shattered即可。

结合VC证明PLA的可行性

证明d-D perceptron：d（vc）=d+1
1.d（vc）≥d+1（存在一组N=d+1可以被shattered）

当X逆矩阵存在时，y可以被shattered。得证。
2.d（vc）≤d+1（任意一组N=d+2不能被shattered）
略

因此，VC Dimesion体现了一个h的powerful，即多少parameters可供选择。


因此，当好事件发生概率很大时：

VC bound 也可以叫样本复杂度。
一般N≈10d（vc）。
理论与实际的差别