机器学习--DIY笔记与感悟--①K-临近算法（2）
上一篇博客我手动写了KNN算法，并且之后用手写的算法预测了约会的成功率。
而今天，我在大神博客的指导下调用sklearn这个库来预测图片的内容。
一、前期准备
由于我这里使用的是mac版本，而sklearn这个库很迷，装的时候老是给我报错，，所以我们装的时候不能单独的使用pip，要在后面加一行命令：
sudo pip install -U numpy scipy scikit-learn --ignore-installed six
要用我上面的写法，具体原因是因为系统保护，（吧啦吧啦）所以跟mac的版本有关。不仅是这个sklearn，装tensorflow的时候也可以在后面添加 --ignore-installed six 来达到直接pip的目的。
具体的blog参照： http://blog.csdn.net/id314846818/article/details/58624393
而当我们成功安装sklearn库后，我们可以在任意目录下编辑.py文件：
print(__doc__) # Author: Nelle Varoquaux <nelle.varoquaux@gmail.com> # Alexandre Gramfort <alexandre.gramfort@inria.fr> # Licence: BSD import numpy as np import matplotlib.pyplot as plt from matplotlib.collections import LineCollection from sklearn.linear_model import LinearRegression from sklearn.isotonic import IsotonicRegression from sklearn.utils import check_random_state n = 100 x = np.arange(n) rs = check_random_state(0) y = rs.randint(-50, 50, size=(n,)) + 50. * np.log(1 + np.arange(n)) ############################################################################### # Fit IsotonicRegression and LinearRegression models ir = IsotonicRegression() y_ = ir.fit_transform(x, y) lr = LinearRegression() lr.fit(x[:, np.newaxis], y) # x needs to be 2d for LinearRegression ############################################################################### # plot result segments = [[[i, y[i]], [i, y_[i]]] for i in range(n)] lc = LineCollection(segments, zorder=0) lc.set_array(np.ones(len(y))) lc.set_linewidths(0.5 * np.ones(n)) fig = plt.figure() plt.plot(x, y, 'r.', markersize=12) plt.plot(x, y_, 'g.-', markersize=12) plt.plot(x, lr.predict(x[:, np.newaxis]), 'b-') plt.gca().add_collection(lc) plt.legend(('Data', 'Isotonic Fit', 'Linear Fit'), loc='lower right') plt.title('Isotonic regression') plt.show()
然后python 这个文件，如果看到结果：
说明安装成功。
二、任务详情
之后我们就需要用这个库来写点真正的东西了。
这里我们要预测的内容为数字。
我们开始的时候会给出一堆文件：
文件下载地址为：https://github.com/Jack-Cherish/Machine-Learning/tree/master/kNN/3.%E6%95%B0%E5%AD%97%E8%AF%86%E5%88%AB
例如我打开其中的0_0.txt，得到
而1_40.txt对应 ：
也就是说文件的名字0_0的‘_’前的那个数字对应了我们文本里的结果，而后面的那个数字是结果为0的文件的编号。
之后我们可以利用KNN进行预测。
三、代码详情
开始的时候我们要对这个32*32的01矩阵进行处理，将其放入一个一维矩阵中。
#coding:utf-8 import numpy as np import operator from os import listdir from sklearn.neighbors import KNeighborsClassifier as KNN def image_vector(filename): zeroVector = np.zeros((1,1024)) f = open(filename) for i in range(32): listRead = f.readline() for j in range(32): zeroVector[0,32*i+j] = int(listRead[j]) #zeroVector里面的[0,n]：0代表第0行，n代表第n列个数字(因为zeros可以有m行n列) return zeroVector #将32*32的矩阵转移到一个一维矩阵中
之后调用函数进行预测，这里重点要关注fit函数、predict函数，
def KNN_Process(): trainNameClass = [] trainingFileList = listdir('trainingDigits') fileCount = len(trainingFileList) #返回目录下的训练文件个数 trainMat = np.zeros((fileCount,1024),int) #创建fileCount行，1024列的二维矩阵(用来保存所有训练集) for i in range(fileCount): currentFileName = trainingFileList[i] #当前文件的文件名称 trainNameNumber = int(trainingFileList[i].split('_')[0]) #取名称的'-'前面的内容 trainNameClass.append(trainNameNumber) #将数字append到数组中 url = 'trainingDigits/' + currentFileName #print url trainMat[i,:] = image_vector(url) #将每个图片的1024个数据均存在trainMat中，构成一个大小为fileCount*1024的矩阵 KnnContain = KNN(n_neighbors = 3, algorithm = 'auto') #创建knn模型容器 KnnContain.fit(trainMat,trainNameClass) #用fit函数将train的矩阵与label对应起来 testFileList = listdir('testDigits') #返回testDigits目录下的文件 errorCount = 0.0 #错误量 testCount = len(testFileList) #test数据的个数 for i in range(testCount): currentTestName = testFileList[i] #当前第i个test文件的名字 testClassNumber = int(currentTestName.split('_')[0]) #获取当前文件的对应数字 testVector = image_vector('testDigits/%s' %(currentTestName)) #将当前test的1024个数据存入testVector中 KnnResult = KnnContain.predict(testVector) print "分类结果为:%d\t真实结果为:%d\t" % (KnnResult,testClassNumber) if KnnResult != testClassNumber: errorCount += 1.0 print "本次model的成功率为： %",(float(testCount) - errorCount)/float(testCount)*100
这里是利用了
KnnContain = KNN(n_neighbors = 3, algorithm = 'auto')
将model抽象到KnnContain中，然后调用fit将training data的内容和value对应起来。而这个n_neighbors为knn中的k值。
详细的官方解释见：http://scikit-learn.org/stable/auto_examples/neighbors/plot_classification.html#sphx-glr-auto-examples-neighbors-plot-classification-py
源代码见：https://github.com/scikit-learn/scikit-learn/blob/a24c8b46/sklearn/neighbors/base.py#L751
之后附上全部代码：
#coding:utf-8 import numpy as np import operator from os import listdir from sklearn.neighbors import KNeighborsClassifier as KNN def image_vector(filename): zeroVector = np.zeros((1,1024)) f = open(filename) for i in range(32): listRead = f.readline() for j in range(32): zeroVector[0,32*i+j] = int(listRead[j]) #zeroVector里面的[0,n]：0代表第0行，n代表第n列个数字(因为zeros可以有m行n列) return zeroVector #将32*32的矩阵转移到一个一维矩阵中 def KNN_Process(): trainNameClass = [] trainingFileList = listdir('trainingDigits') fileCount = len(trainingFileList) #返回目录下的训练文件个数 trainMat = np.zeros((fileCount,1024),int) #创建fileCount行，1024列的二维矩阵(用来保存所有训练集) for i in range(fileCount): currentFileName = trainingFileList[i] #当前文件的文件名称 trainNameNumber = int(trainingFileList[i].split('_')[0]) #取名称的'-'前面的内容 trainNameClass.append(trainNameNumber) #将数字append到数组中 url = 'trainingDigits/' + currentFileName #print url trainMat[i,:] = image_vector(url) #将每个图片的1024个数据均存在trainMat中，构成一个大小为fileCount*1024的矩阵 KnnContain = KNN(n_neighbors = 3, algorithm = 'auto') #创建knn模型容器 KnnContain.fit(trainMat,trainNameClass) #用fit函数将train的矩阵与label对应起来 testFileList = listdir('testDigits') #返回testDigits目录下的文件 errorCount = 0.0 #错误量 testCount = len(testFileList) #test数据的个数 for i in range(testCount): currentTestName = testFileList[i] #当前第i个test文件的名字 testClassNumber = int(currentTestName.split('_')[0]) #获取当前文件的对应数字 testVector = image_vector('testDigits/%s' %(currentTestName)) #将当前test的1024个数据存入testVector中 KnnResult = KnnContain.predict(testVector) print "分类结果为:%d\t真实结果为:%d\t" % (KnnResult,testClassNumber) if KnnResult != testClassNumber: errorCount += 1.0 print "本次model的成功率为： %",(float(testCount) - errorCount)/float(testCount)*100 if __name__ == '__main__': KNN_Process()
还是老样子，我这里使用了python2.7.10的版本。
得到结果为
可以看到预测的成功率达到了98.7，说明效果还是很好的。
而这个sklearn里面的内容还是博大精深的，等我更深入学习后再把体会更新到这里。
在此感谢大神的blog，参考自http://blog.csdn.net/c406495762/article/details/75172850
