3、K-近邻算法

K最近邻(k-Nearest Neighbor，KNN)分类算法

 

1、定义：如果一个样本在特征空间中的k个最近似（即特征空间中最临近）的样本中大多数属于某一类别，则该样本也属于这个类别。

 

2、计算公式：；

 

3、K-近邻算法需要做标准化处理；

 

4、K-近邻算法API

 

5、优点：

      1）简单、无需参数处理、无需训练

 

6、缺点：

      1）懒惰算法，对测试样本分类时的计算量大，内存开销大；

      2）必须指定k值，k值的选择不当则分类精度不能保证；

 

7、使用场景：小数据量，几千~几万个样本。

 

8、加快搜索速度——基于算法的改进KDTree。