机器学习实战笔记-2-kNN近邻算法

k-近邻算法(kNN)

===============

本质是(提取样本集中特征最相似数据（最近邻）的k个分类标签)。

K-近邻算法的优缺点	例
优点：精度高，对异常值不敏感，无数据输入假定； 缺点：计算复杂度高，空间复杂度高； 适用于：数值型和标称型。	手写数字识别

工作原理

1. 输入样本集，该样本集中标签已确定。
2. 输入无标签（目标变量无值）的新数据，将新数据的每个特征与样本集中的数据对应特征比较。提取样本集中特征最相似数据（最近邻）的k个分类标签。k一般不大于20。
3. 选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

算法流程

kNN算法

1. 计算已知类别数据集中的点与当前点之间的距离
2. 按照距离递增次序排序
3. 选取与当前点距离最小的k个点
4. 确定前k个点所在类别的出现频率
5. 返回前k个点出现频率最高的类别作为当前点的预测分类