python实现k-近邻算法
参考:《机器学习实战》- Machine Learning in Action
一、 必备的包
实现此算法需要准备以下的包:
• matplotlib,用于绘图
• numpy,数组处理库
我一般是用pip安装,若不熟悉这些库,可以搜索一下它们的简单教程。
二、 基本思想
假设存在一个样本数据集合,也称作训练样本集
,并且样本集中每个数据都存在标签。输入测试数据后,通过采用测量不同特征值之间的距离
进行分类,即挑选前k个最相似的样本数据。最后,选择k个最相似数据中出现次数最多的分类,作为测试数据的分类结果。
伪代码:
- 计算已知类别数据集中的点与当前点的距离;
- 按照距离递增次序排序;
- 选取与当前点距离最小的k个点;
- 确定前k个点所在类别的出现频率;
- 返回频率最高的类别作为预测分类。
一般而言,计算距离会采用欧式距离
。
三、 代码
背景:有一个约会网站,交往对象总结下来可以分成三种类型:不喜欢的人,魅力一般的人,极具魅力的人。若提供了样本为,三个特征:每年获得的飞行常客里程数,玩视频游戏所耗百分比,每周消费的冰淇淋升数,以及给出所属的类型。
样本文件为:datingTestSet.txt
代码如下:
# -*- coding:utf-8 -*-
from numpy import *
import matplotlib
import matplotlib.pyplot as plt
#---简单的二维分类器---#
def createDataSet():
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group, labels
def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0] #得到行数
diffMat = tile(inX, (dataSetSize,1)) - dataSet #沿维度重复
sqDiffMat = diffMat**2 #矩阵每个元素平方
sqDistances = sqDiffMat.sum(axis=1) #将每行相加
distance = sqDistances**0.5 #开方
sortedDistIndicies = distance.argsort()
classCount = {}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
sortedClassCount = sorted(classCount.items(), \
key=lambda item:item[1], reverse=True) #参数1是可迭代对象,参数2表示用第2个域的值,参数3表示降序
return sortedClassCount[0][0]
#---社交网络分类---#
#文件处理
def file2matrix(filename):
fr = open(filename)
arrayOfLines = fr.readlines()
numberOfLines = len(arrayOfLines)
returnMat = zeros((numberOfLines, 3))
classLabelVector = []
index = 0
for line in arrayOfLines:
line = line.strip()
listFromLine = line.split('\t')
returnMat[index,:] = listFromLine[0:3]
if listFromLine[-1].startswith('large'):
classLabelVector.append(3)
elif listFromLine[-1].startswith('small'):
classLabelVector.append(2)
else:
classLabelVector.append(1)
index += 1
return returnMat, classLabelVector
#对数据进行归一化处理
def autoNorm(dataSet):
minVals = dataSet.min(0) #得到每个特征的最小值
maxVals = dataSet.max(0) #得到每个特征的最大值
ranges = maxVals - minVals
normDataSet = zeros(shape(dataSet))
m = dataSet.shape[0] #得到行数
normDataSet = dataSet - tile(minVals, (m,1))
normDataSet = normDataSet/tile(ranges, (m,1))
return normDataSet, ranges, minVals
#对模型进行测试
def datingClassTest():
hoRatio = 0.10
datingDataMat, datingLabels = file2matrix('datingTestSet.txt')
normMat, ranges, minVals = autoNorm(datingDataMat)
m = normMat.shape[0]
numTestVecs = int(m*hoRatio)
errorCount = 0.0
for i in range(numTestVecs):
classifierResult = classify0(normMat[i,:], normMat[numTestVecs:m,:], \
datingLabels[numTestVecs:m],3)
print "the classifier came back with: %d, the real answer is: %d" \
% (classifierResult, datingLabels[i])
if classifierResult != datingLabels[i]:
errorCount += 1.0
print "the total error rate is: %f" % (errorCount/float(numTestVecs))
#约会网站预测函数
def classifyPerson():
resultList = ['not at all', 'in small doses', 'in large doses']
PercentTats = float(raw_input('PercentTats of time spent playing video games?'))
ffMiles = float(raw_input('frequent flier miles earned per year?'))
iceCream = float(raw_input('liters of ice cream consumed per year?'))
datingDataMat, datingLabels = file2matrix('datingTestSet.txt')
normMat, ranges, minVals = autoNorm(datingDataMat)
inArr = array([ffMiles, PercentTats, iceCream])
classifierResult = classify0((inArr - minVals)/ranges, normMat, datingLabels, 3)
print "You will probably like this person: ", \
resultList[classifierResult - 1]
if __name__ == '__main__':
#datingClassTest()
#classifyPerson()
testVector = img2vector('testDigits/0_13.txt')
print testVector[0,0:31]
作者: vachester
出处:http://www.cnblogs.com/vachester/
邮箱:xcchester@gmail.com
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接,否则保留追究法律责任的权利。