衡量模型和样本复杂度
(1)定义VC Dimension:
dichotomies数量的上限是成长函数,成长函数的上限是边界函数:
所以VC Bound可以改写成:
下面我们定义VC Dimension:
对于某个备选函数集H,VC Dimension就是它所能shatter的最大数据个数N。VC Dimension = minimum break point - 1。所以在VC Bound中,(2N)^(k-1)可以替换为(2N)^(VC Dimension)。VC Dimension与学习算法A,输入分布P,目标函数f均无关。
(2)PLA的VC Dimension
1D的PLA最多shatter2个点,所以VC Dimension = 2;
2D的PLA最多shatter3个点,所以VC Dimension = 3;
猜测dD的PLA,VC Dimension会不会等于d+1? 只需证明dvc≥d+1并且 dvc≤d+1
- 证明VC Dimension≥d+1,只需证明H可以shatter某些d+1个输入。
构造一组d+1个输入:
X=
第一列灰色的1是对每个输入提高1维的操作,这个是一个d+1维的方阵,对角线全部是1,所以该矩阵可逆。即对于任意一种输出,我们总能找到一个备选函数使得
图2
即这一组输入的所有dichotomies都被穷尽了,所以VC Dimension≥d+1得证
- 证明VCDimension≤d+1,只需证H不能shatter任何d+2个输入
在2D情形下构造一组4个输入:
图3
所以 x4 = x3 + x2 - x1