20210203

今天的部分是维度灾难。在人的一般直觉里一般是认为“越精细的就越好”，但实际上在机器学习甚至大多数学科里，“过度的精细”可能反而带来极大的问题：譬如对于一个球体（或者高维里类似球体的东西），维度高到一定程度之后它的体积（或类似的概念）反而开始下降直至无限趋近于0。同时，维度的增高也会带来计算量的指数级增长。对于机器学习，高维还会带来样本间距离偏向于恒定，以及“过拟合”现象的发生，而维度灾难也成为了机器学习中必须注意和应对的一个问题。应对维度灾难的方法有：针对特征选择和降维，通过降低样本维度解决；通过正则化防止模型维度过高造成“过拟合”和极大的运算量。