关于维数灾难

      经典的机器学习方法都会遇到维数灾难的影响，即同一种学习机器为了获得相同的泛化性能需要的样本数目随着维数的增多而呈指数级增长。这句话包含的另一层意思就是，对于同一种学习机器，给予同样的学习样本，得到的目标函数的泛化性能随着维数的增多而下降。

     从我们前面对统计机器学习的介绍来看，这种机器学习方法的性能是不受空间维数的影响的，它只跟函数集的VC维有关，所以使用统计机器学习方法时，如果空间维数增多，当没有给予更多的样本时，我们可以通过构造小的VC维的函数集来获得有足够泛化性能的目标函数。在下一节的支持向量中我们将看到，样本数固定时，支持向量数目越少，其泛化性能越高，其实可以推出对于固定的问题（样本数固定），函数集的VC维越小，最后得出的目标函数的支持向量越少。