机器学习实战-kNN分类算法(实例)
#!/usr/bin/python # -*- coding: UTF-8 -*- #author:Jiang Yaju from numpy import * import operator from os import listdir def createDataSet(): group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels=['A','A','B','B'] return group,labels """ inX-用于分类的数据(测试集) dataSet-用于训练的数据(训练集) labels-分类标签 k-KNN算法参数,选择距离最小的k个点 """ def classify0(inX,dataSet,labels,k): #k-近邻算法 dataSetSize = dataSet.shape[0] #numpy函数shape[0]返回dataSet的行数 diffMat = tile(inX,(dataSetSize,1))-dataSet #在列向量方向上重复inX共1次(横向),行向量方向上重复inX共dataSetSize次(纵向) #得到特征值之间的差,计算欧氏距离,将输入向量沿行扩展得到差距阵 sqDiffMat = diffMat**2 #二维特征相减后平方 sqDistances = sqDiffMat.sum(axis=1) #sum()所有元素相加,sum(0)列相加,sum(1)行相加 distances = sqDistances**0.5 #开方,计算出距离 sortedDistIndicies = distances.argsort() #返回distances中元素从小到大排序后的索引值 classCount={} #定一个记录类别次数的字典 for i in range(k): #取出前k个元素的类别 voteIlabel = labels[sortedDistIndicies[i]] classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 #dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值 #计算类别次数 #python3中用items()替换python2中的iteritems() #key=operator.itemgetter(1)根据字典的值进行排序 #key=operator.itemgetter(0)根据字典的键进行排序 #reverse降序排序字典 sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1),reverse=True) return sortedClassCount[0][0] #返回次数最多的类别,即所要分类的类别 #实例1:使用k-近邻算法改进约会网站的配对效果 def file2matrix(filename): #将文本记录转换为Numpy的解析程序 fr=open(filename,'r+') arrayOLines=fr.readlines() numberOfLines=len(arrayOLines) returnMat=zeros((numberOfLines,3)) #初始化一个返回矩阵用于存放样本数据 classLabelVector=[] #定义一个向量用于存放标签 index=0 for line in arrayOLines: #解析数据到矩阵和向量中去 line=line.strip() #删除开头和结尾的空白符 listFromLine=line.split('\t') #split制定分隔符对数据切片 returnMat[index,:] = listFromLine[0:3] #选取前三个元素(特征)存储在返回矩阵中 classLabelVector.append(int(listFromLine[-1])) #每一行最后一个元素是标签 index+=1 return returnMat,classLabelVector def autoNorm(dataSet): #归一化特征值 minVals=dataSet.min(0) #获得数据的最小值 maxVals=dataSet.max(0) #获得数据的最大值 ranges=maxVals-minVals #最大值和最小值的范围 normDataSet=zeros(shape(dataSet)) #shape(dataSet)返回dataSet的矩阵行列数 m=dataSet.shape[0] #返回dataSet的行数 normDataSet=dataSet-tile(minVals,(m,1)) #原始值减去最小值 normDataSet=normDataSet/tile(ranges,(m,1)) #除以最大和最小值的差,得到归一化数据 return normDataSet,ranges,minVals #返回归一化数据结果,数据范围,最小值 def datingClassTest(): #分类器针对约会网站的测试代码 hoRatio=0.10 #取所有数据的10% datingDataMat,datingLabels=file2matrix(r'F:\文档\机器学习实战\machinelearninginaction\Ch02\datingTestSet2.txt') #打开的文件名 #将返回的特征矩阵和分类向量分别存储到datingDataMat和datingLabels中 normMat,ranges,minVals=autoNorm(datingDataMat) #对数据进行归一化处理 m=normMat.shape[0] #获得normMat的行数 numTestVecs=int(m*hoRatio) #百分之十的测试数据的个数 errorCount=0.0 #分类器错误计数 for i in range(numTestVecs): classifierResult=classify0(normMat[i,:],normMat[numTestVecs:m,:], datingLabels[numTestVecs:m],3) #前numTestVecs个数据作为测试集,后m-numTestVecs个数据作为训练集 print('the classifier came back with:%d, the real answer is:%d' %(classifierResult,datingLabels[i])) if(classifierResult!=datingLabels[i]): errorCount+=1.0 print('the total error rate is:%f' %(errorCount/float(numTestVecs))) def classifyPerson(): #约会网站预测函数 resultList=['not at all','in small doses','in large doses'] #输出结果 percentTats=float(input('percentage of time spent playing video games?')) ffMiles=float(input('frequent flier miles earned per year?')) iceCream=float(input('liters of ice cream consumed per year?')) datingDataMat,datingLabels=file2matrix(r'F:\文档\机器学习实战\machinelearninginaction\Ch02\datingTestSet2.txt') normMat,ranges,minVals=autoNorm(datingDataMat) #训练集归一化 inArr=array([ffMiles,percentTats,iceCream]) #生成Numpy数组,测试集 classifierResult=classify0((inArr-minVals)/ranges,normMat,datingLabels,3) #测试集归一化,返回分类结果 print('You will probably like this person:',(resultList[classifierResult-1])) #实例2:手写识别系统 def img2vector(filename): #准备数据:将图像转换为测试向量 returnVect=zeros((1,1024)) #创建1x1024零向量 fr=open(filename) for i in range(32): lineStr=fr.readline() #按行读取数据 for j in range(32): returnVect[0,32*i+j]=int(lineStr[j]) #每一行的前32个元素一次添加到returnVect中 return returnVect #返回转换后的1x1024向量 def handwritingClassTest(): #手写数字识别系统的测试代码 hwLabels=[] #测试集的标签 trainingFileList=listdir('F:/文档/机器学习实战/machinelearninginaction\Ch02/trainingDigits') #返回trainingDigits目录下的文件名 m=len(trainingFileList) #返回文件夹下文件的个数 trainingMat=zeros((m,1024)) #初始化训练的Mat矩阵,测试集 for i in range(m): #从文件名中解析出训练集的类别 fileNameStr=trainingFileList[i] #获得文件的名字 fileStr=fileNameStr.split('.')[0] classNumStr=int(fileStr.split('_')[0]) hwLabels.append(classNumStr) #将获得的类别添加到hwLabels中 trainingMat[i,:]=img2vector('F:/文档/机器学习实战/machinelearninginaction\Ch02/trainingDigits/%s' % (fileNameStr)) #将每一个文件的1x1024数据存储到trainingMat矩阵中 testFileList=listdir('F:/文档/机器学习实战/machinelearninginaction/Ch02/testDigits') #返回testDigits目录下的文件列表 errorCount=0.0 mTest=len(testFileList) #测试数据的数量 for i in range(mTest): #从文件中解析出测试集的类别并进行分类测试 fileNameStr=testFileList[i] #获得文件的名字 fileStr=fileNameStr.split('.')[0] classNumStr=int(fileStr.split('_')[0]) #获得分类的数字 vectorUnderTest=img2vector('F:/文档/机器学习实战/machinelearninginaction/Ch02/testDigits/%s' % (fileNameStr)) #获得测试集的1x1024向量,用于训练 classifierResult=classify0(vectorUnderTest,trainingMat,hwLabels,3) #获得预测结果 print('the classifier came back with: %d, the real answer is:%d' %(classifierResult,classNumStr)) if(classifierResult!=classNumStr): errorCount+=1.0 print('the total number of errors is:%d' % errorCount) print('the total error rate is:%f' % (errorCount/float(mTest)))