（2）机器学习实战笔记：k近邻算法
写的很粗糙，以后实现了具体的算法再改进内容
———————————————————————————————————————————————
k近邻算法：
概述：
优点：
1、精度高，对异常值不敏感，无数据输入假定
缺点：计算复杂高，空间复杂高
适用数据范围：数值型与标称型
原理：存在一个样本数据集合，并且样本集中每个数据都存在标签
对于输入没有标签的新数据，把新数据的每个特征与样本集中数据对应的特征进行比较
算法提取样本集中特征最相似 的数据（最近邻）分类标签
always 只选择k个最相似数据中出现次数最多的分类，作为新数据的分类
k近邻算法的一般流程：
1、收集数据：any way
2、准备数据：距离计算所需要的数值，最好是结构化的数据格式
3、分析数据：any way
4、测试算法：计算错误率
5、使用算法：首先需要输入样本数据和结构化输出结果，然后运行k近邻算法判定输入数据分别属于哪个类，最后应用对计算出的分类执行后续处理
算法思路：
对未知类别属性数据集：
1、计算已知类别数据集中的点和当前点之间的距离
2、按照距离递增次序排序
3、选取与当前距离最小的k个点
4、确定前k个点所在类别的出现频率
5、返回前k个点出现频率最高的类别作为当前点的预测分类
分类器的测试：
错误率，用于评估分类器在某个数据集上的执行效果
需要了解数据的真实含义，一般会采用图形化的方式直观展示数据
2.2.2 分析数据：使用matplotlib创建散点图
可以变色：更好的辨识数据
2.2.3
准备数据：进行数值的归一化
是为了减少个体数值数字差值大对属性计算结果影响大的问题；
2.2.4
测试算法：作为完整程序验证分类器
————————————————————————————————————————————-
总步骤：
读取数据，进行特征值归一化
计算测试向量的数量，将两部分数据输入到原始knn分类器函数中
最后计算错误率实现结果输出。
————————————————————————————————————————————
数据集量很大，必须使用大量的存储空间
必须对数据集中每个数据计算距离值，使用时候很耗时间
无法知晓平均实例样本和典型实例样本特征
下面是简单实例：k近邻算法实现手写数字验证
数据集来自http://archive.ics.uci.edu/ml手写识别的数据（手写数字数据集的光学识别）
数据集和代码传到gitHub上去了！下载数据集点我
实现步骤：
1、处理图像数据，转化为向量（img2vector）
2、对数据进行提取，通过文件名提取数据向量对应的数字标签，获得一个“训练集”
3、对于“测试集”里的每一条向量，获得对应的数字标签 然后调用classify0函数使用knn算法进行向量距离的计算→通过排序获得前k个最小的结果→统计最小结果集里数字出现的概率→返回概率最高的结果作为分类答案
4、计算错误率
具体实现代码如下：
import numpy import matplotlib from os import listdir import numpy as np import operator #将图片转换为向量 def img2vector(filename): returnVect=np.zeros((1,1024)) #生成1行1024列的全零矩阵 fr = open(filename) for i in range(32): lineStr = fr.readline() for j in range(32): returnVect[0,32*i+j] = int(lineStr[j]) return returnVect #单条数据（测试数据），“训练”数据集，对应训练数据集的数字标签，选前k个参数 def classify0(testData,dataSet,labels,k): dataSetSize = dataSet.shape[0] diffMat = np.tile(testData,(dataSetSize ,1))-dataSet #使用欧氏距离公式计算距离 sqDiffMat = diffMat**2 sqDistances = sqDiffMat.sum(axis = 1) #axis=1：按行计算（计算和） distances=sqDistances**0.5 sortedDistIndicies = distances.argsort() #argsort()将distances中的数据从小到大排列，然后返回其对应由下标组成的list classCount = {} #选择距离最小的k个点，这里k=3 for i in range(k): voteIlabel = labels[sortedDistIndicies[i]] #找到差值对应下标 在labels中对应的数据标签是多少 classCount[voteIlabel]=classCount.get(voteIlabel,0) +1 #通过hash的方式统计结论标签出现的次数 #排序 print(classCount) sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse = True) return sortedClassCount[0][0] def handwritingClassTest(): hwLabels = [] #获取目录的内容 trainingFileList = listdir('trainingDigits') m_len = len(trainingFileList) trainingMat = np.zeros((m_len,1024)) for i in range(m_len): fileNameStr=trainingFileList[i] #通过文件名获得数据 对应的数字 fileStr = fileNameStr.split('.')[0] classNumStr = int(fileStr.split('_')[0]) hwLabels.append(classNumStr) trainingMat[i,:] = img2vector('trainingDigits/%s' %fileNameStr) # print(trainingMat[i][0:32]) # print(hwLabels) # print(trainingMat.size) testFileList = listdir('testDigits') errorCount =0.0 mTest_len = len(testFileList) for i in range(mTest_len): fileNameStr = testFileList[i] #获取数据集文件名字 fileStr = fileNameStr.split('.')[0] classNumStr = int(fileStr.split('_')[0]) #找到其对应是什么数据 vectorUnderTest = img2vector('testDigits/%s'%fileNameStr) classifierResult = classify0(vectorUnderTest,trainingMat,hwLabels,3) print("判断的数字是%d,而其真实数字是%d"%(classifierResult,classNumStr)) if(classifierResult!=classNumStr):errorCount += 1.0 print("判断错误的实例有%d个" % errorCount) print("错误率是%f" % (errorCount / float(mTest_len))) def main(): handwritingClassTest() if __name__ == '__main__': main()
