重新认识维数灾难--反直觉的高维空间

curse of dimensionality维数灾难

或者翻译成维度的咒语，这个咒语出现在很多方面：

sampling采样

如果数据是低维的，所需的采样点相对就比较少；如果数据是高维的，所需的采样点就会指数级增加，而实现中面对高维问题时往往无法获得如此多的样本点（即使获得了也无法处理这么庞大数据量），样本少不具有代表性自然不能获得正确的结果。

combinatorics组合数学

由于每个维度上候选集合是固定的，维度增加后所有组合的总数就会指数级增加。

machine learning机器学习

在机器学习中要求有相当数量的训练数据含有一些样本组合。给定固定数量的训练样本，其预测能力随着维度的增加而减小，这就是所谓的Hughes影响或Hughes现象。

data mining数据挖掘

在组织和搜索数据时有赖于检测对象区域，这些区域中的对象通过相似度属性而形成分组。然而在高维空间中，所有的数据都很稀疏，从很多角度看都不相似，因而平常使用的数据组织策略变得极其低效。

距离在高维环境下失去意义

在某种意义上，几乎所有的高维空间都远离其中心，或者从另一个角度来看，高维单元空间可以说是几乎完全由超立方体的“边角”所组成的，没有“中部”。一维正态分布有68%的值落于正负标准差之间，而在十维空间上只有0.02%。这对于理解卡方分布是很重要的直觉理解。

卡方分布：若N个随机变量服从标准正态分布，那么它们的平方和（注意在计算欧氏距离时就要用到各个变量的平方和）构成的新的变量服从卡方分布，N是自由度。下面是其概率密度图：

自由度越大（维度越高）时，图形越”平阔“。

然而，也由于本征维度的存在，其概念是指任意低维数据空间可简单地通过增加空余（如复制）或随机维将其转换至更高维空间中，相反地，许多高维空间中的数据集也可削减至低维空间数据，而不必丢失重要信息。这一点也通过众多降维方法的有效性反映出来，如应用广泛的主成分分析方法。针对距离函数和最近邻搜索，当前的研究也表明除非其中存在太多不相关的维度，带有维数灾难特色的数据集依然可以处理，因为相关维度实际上可使得许多问题（如聚类分析）变得更加容易。另外，一些如马尔可夫蒙特卡罗或共享最近邻搜索方法^[3]经常在其他方法因为维数过高而处理棘手的数据集上表现得很好。

 

原文来自:博客园（华夏35度）http://www.cnblogs.com/zhangchaoyang 作者:张朝阳

关于高维空间降维的重要性：

1.通过公式的推导（这里就不推导了），会发现高维度空间的体积主要分布在壳部和角部。

2.随着维度的增加，体积（Vc（正方形），Vr（圆形））会迅速增加。这样的好处是在样本空间，样本的分布会非常稀疏，不易重叠，利于分类。 
然后老师又说了一句话：对高维进行概率密度函数设计特别困难，设计分类器也很困难，所以降维是必须的。 
这里的理解是，对于高维空间，人为的靠感觉设定一个超平面是可以的，但是要通过计算机计算设定一个超平面，是很困难的，因为概率密度函数不好的设计，所以要降维。

3.高维度空间样本分布稀疏，导致同类样本分布相对集中，落在一个较低的子空间中，利于投影，不会导致信息丢失。

4.高维度空间的数据主要分布在壳部和角部，不是均匀分布在整个空间中。

5.根据中心极限定理，高维空间的数据投影到很低维度的空间中，数据将会呈现正态分布。所以，说降维是对分类有效的。

6.根据一个人fakanage的实验结论： 
对于监督分布，设计分类器所需要的样本数量于空间的维度呈现正比例关系。 
对于非监督分布，设计分类器所需要的样本数量于空间的维度呈现指数关系。 
这就解释了，神经网络的隐藏层的数量不是越多越好，而是要有足够的数据样本作为支持才行。

还有对于高维度空间投影理解：就是让投影的坐标轴为0.
————————————————
版权声明：本文为CSDN博主「DX_ByYourself」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/CV_YOU/article/details/78412800