VC Dimesion
Review
当break point k存在时,m(N)就会被N的k-1次方bound住。
条件:
VC Dimesion
定义:在VC Dimesion中h可以shattere某N个点,超过VC Dimesion时(即到k)时,就会出现不能shattered的情况。
因此:
可以推出:
注意:当一组N < VC Dimesion时,也不一定能被shattered。当然其他组N可能会被shattered,任意一组能被shattered即可。
结合VC证明PLA的可行性
证明d-D perceptron:d(vc)=d+1
1.d(vc)≥d+1(存在一组N=d+1可以被shattered)
当X逆矩阵存在时,y可以被shattered。得证。
2.d(vc)≤d+1(任意一组N=d+2不能被shattered)
略
因此,VC Dimesion体现了一个h的powerful,即多少parameters可供选择。
因此,当好事件发生概率很大时:
VC bound 也可以叫样本复杂度。
一般N≈10d(vc)。
理论与实际的差别