KNN总结

本篇博客是对KNN关键知识点的总结，包括以下几个方面：

1.KNN原理介绍

kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。

2.KNN的超参数有哪些？

一.k值得选取

二.距离计算方法

三.权重

3.不平衡的样本可以给KNN的预测结果造成哪些问题，有没有什么好的解决方式？

输入实例的K邻近点中，大数量类别的点会比较多，但其实可能都离实例较远，这样会影响最后的分类。

可以使用权值来改进，距实例较近的点赋予较高的权值，较远的赋予较低的权值。

4.为了解决KNN算法计算量过大的问题，可以使用分组的方式进行计算，简述一下该方式的原理。

先将样本按距离分解成组，获得质心，然后计算未知样本到各质心的距离，选出距离最近的一组或几组，再在这些组内引用KNN。本质上就是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本，该方法比较适用于样本容量比较大时的情况。

5.KNN中的K如何选取的？

一般选取较小的K值，然后使用交叉验证对比选择最优的K值。

6.什么是KD树？

KD树是对K维空间中的实例点进行存储，便于快速查找检索的二叉树。

7.KD树建立过程中切分维度的顺序是否可以优化？

可以先对每一维度求方差，方差大说明数据分布越分散，则从方差大的维度来逐步切分，可以取得更好的切分效果及树的平衡性。

8.KD树每一次继续切分都要计算该子区间在需切分维度上的中值，计算量很大,有什么方法可以对其进行优化？

在构建KD树前，依据每一维度先排序，在之后的切分中直接使用。

 

9.KNN算法有哪些优点和缺点？

 

优点：算法思想较简单，既可以做分类也可以做回归；可以用于非线性分类/回归；训练时间复杂度为O(n)；对数据没有假设，对离群点不敏感；

 

缺点：K计算量大；存在类别不平衡问题；需要大量的内存；