k-近邻算法

k-近邻算法

工作原理
存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签， 即我们知道样本集中每一个数据与
所属分类的对应关系。输入没有标签的新数据之后，将新数据每个特征与样本集中数据对应的特征比较，然后计算提取
样本集中特征最相似数据的分类标签。通常k是大于20的整数。最后选择最相似数据中出现次数最多的分类，作为新数据
的分类。

k-近邻算法采用测量不同特征值之间的距离方法进行分类

优点：精度高，对异常值不敏感，无数据输入假定；
缺点：计算复杂度高，空间复杂度高；
适用数据范围： 数值型和标称型。

标称型： 标称型目标变量的结果只在有限目标集中取值，如真与假(标称型目标变量主要用于分类)
数值型： 数值型目标变量则可以从无限的数值集合中取值，如0.100，42.001等 (数值型目标变量主要用于回归分析)

k-近邻算法的一般流程：

1 收集数据： 可以使用任何方式；

2 准备数据： 距离计算所需要的数值，最好是结构化的数据；

3 分析数据：可以使用任何方法；

4 训练算法： 此步骤不适用于k-近邻算法；

5 测试算法：计算错误率；

6 使用算法：输入样本数据和结构化的输出结果，运行kk-近邻算法，判定输入数据分别

属于那个分类，最后对分类执行后续的处理。

eg：

from numpy import *
import operator


def createDataSet():
    """
    创建数据集合
    :return:
    """
    group = array([
        [1.0,1.1],
        [1.0,1.0],
        [0,0],
        [0, 0.1]
    ])
    labels = ['A', 'A', 'B', 'B']

    return group, labels


def classify0(inx, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inx, (dataSetSize, 1)) - dataSet # tile 在列的方向重复dataSetSize次，行方向1次
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0)+1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)

    return sortedClassCount[0][0]



if __name__ == '__main__':
    group, labels = createDataSet()
    a = classify0([0,0], group, labels, 3)
    print(a)