K近邻算法
K近邻算法简单概述
K近邻算法采用测量不同特征值之间的距离方法进行分类
该方法的思路是：如果一个样本在特征空间中与k个实例最为相似(即特征空间中最邻近)，那么这k个实例中大多数属于哪个类别，则该样本也属于这个类别。
其中，计算样本与其他实例的相似性一般采用距离衡量法。离得越近越相似，离得越远越不相似。
- 优点：精度高，异常值不敏感，无数据输入假定
- 缺点：计算复杂度高，空间复杂度高
- 适用数据范围：数值型和标称型
K近邻简述：遍历计算测试集的每个子集与训练集的距离，然后取距离最近的前K个值，再通过这K个值对应的训练集的标签（多数赞同）来决定这个子集的标签
K近邻算法机器学习实战源码（缺点：参数只能测试集的一个数据与欧氏距离的计算）
def classify0(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0] # 训练集数据个数4个 diffMat = tile(inX, (dataSetSize, 1)) - dataSet # np.tile函数 # 瓦铺函数 # 将inX的shape为（1,1）的拉伸为（4,2） sqDiffMat = diffMat ** 2 # x^2,y^2 sqDistance = sqDiffMat.sum(axis=1) # x^2+y^2 distances = sqDistance ** 0.5 # 开根 sortedDistIndicies = distances.argsort() # 返回其排序好的索引，索引的取值是由小到大的 classCount = {} # 创建分类字典 for i in range(k): voteIlabel = labels[sortedDistIndicies[i]] classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1 # 相当于 classCount[voteIlabel] = classCount[voteIlabel] +1 # 使用get 是为了键不存在时取值为0而不是None sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) # 最后一步：根据字典的值最多的返回其键 # 字典无序，需要遍历 ，此行代码封装的好，但易读性弱，不建议使用 return sortedClassCount[0][0]
K近邻自改源码（缺点：参数只能为测试集的单一数据）
def classify1(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0] # 训练集数据个数 distances = [] for i in range(0,dataSetSize): d = linalg.norm(inX-dataSet[i],ord=2) distances.append(d) distances = array(distances) sortedDistIndicies = distances.argsort() classCount = {} # 创建分类字典 for i in range(k): voteIlabel = labels[sortedDistIndicies[i]] classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1 # 相当于 classCount[voteIlabel] = classCount[voteIlabel] +1 # 使用get 是为了键不存在时取值为0而不是None sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) # 最后一步：根据字典的值最多的返回其键 # 字典无序，需要遍历 ，此行代码封装的好，但易读性弱，不建议使用 return sortedClassCount[0][0]
K近邻自改可适用于一个测试数据集，返回为预测结果
class KNearestNeighbor: def __init__(self): pass def train(self,X,y): self.X_train = X self.y_train = y def predict(self, X, k=1): # 计算L2距离 num_test = X.shape[0] #测试样本个数 num_train = self.X_train.shape[0] #训练样本个数 # because(X - X_train)*(X - X_train) = -2X*X_train + X*X + X_train*X_train, so d1 = -2 * np.dot(X, self.X_train.T) # shape (num_test, num_train) d2 = np.sum(np.square(X), axis=1, keepdims=True) # shape (num_test, 1) d3 = np.sum(np.square(self.X_train), axis=1) # shape (1, num_train) dist = np.sqrt(d1 + d2 + d3) # 根据K值，选择最可能属于的类别 y_pred = np.zeros(num_test) for i in range(num_test): dist_k_min = np.argsort(dist[i])[:k] # dist[i]根据每个测试集i， # 取每个测试集与所有训练集的欧氏距离，返回k个训练集上的索引 # 最近邻k个实例位置 y_kclose = self.y_train[dist_k_min] # 最近邻k个实例对应的标签 y_pred[i] = np.argmax(np.bincount(y_kclose.tolist())) # 找出k个标签中从属类别最多的作为预测类别 return y_pred
