约会网站
四、 任务分析
西普收集的约会数据在/home/soft/KNN/datingTestSet.txt。根据分析，每个样本数据占据一行，总共1000行，样本数据包含3中特征：1、每年获得的飞行常客里程数；2、玩视频游戏所消耗的时间百分比；3、每周消耗的冰淇淋公升数。didntLike代表不喜欢；smallDoses代表魅力一般；largeDoses代表极具魅力。
| ♥ 知识链接 |
1、收集数据：网络爬虫、第三方提供的免费及收费数据 2、准备数据：使用Python解析、预处理数据 3、分析数据：对数据进行可视化 4、测试算法：计算错误率 5、使用算法：错误率在接受范围内，运行算法进行分类 |
五、 任务实施
步骤1、环境准备
右击Ubuntu操作系统桌面，从弹出菜单中选择【Open in Terminal】命令 打开终端。
通过【cd /home】切换到home目录下。【ls】查看该目录下的所有内容。如图1所示。
【mkdir KNN】在home目录下创建KNN文件夹。如图2所示。
步骤2、数据解析
【cd KNN】切换目录，【cp /home/soft/KNN/datingTestSet.txt /home/KNN/】将数据集复制到该目录下，【head -n 10 datingTestSet.txt】查看前十行的数据。如图3所示。
样本数据包含3中特征：1、每年获得的飞行常客里程数；2、玩视频游戏所消耗的时间百分比；3、每周消耗的冰淇淋公升数。didntLike代表不喜欢；smallDoses代表魅力一般；largeDoses代表极具魅力。
【vim kNN_date.py】回车后创建并编辑名为kNN_date的Python文件。如图4所示。
回车后进入编辑框内，按键盘【i】进入编辑状态，编译如下程序。如图5所示。
对数据进行解析，将数据分类成两部分，既特征矩阵和对应的分类标签。
在main方法内定义文件信息，调用处理数据的方法，将方法返回的特征矩阵和分类标签打印。如图6所示。
编辑完毕后，按【esc】退出编辑状态，【:wq】保存并退出编辑框，【python kNN_date.py】执行kNN_date的Python文件。如图7所示。
步骤3、数据归一化
约会网站样本数据。如图8所示。
想要计算样本3和样本4之间的距离，可以使用欧拉公式计算。如图9所示。
在计算中发现数字差值最大的属性对计算结果的影响最大。在处理这种不同取值范围的特征值时，采用的方法是将数值归一化。将取值范围处理为0到1或者-1到1之间。
公式为：newValue = (oldValue - min) / (max - min)
再次进入kNN_date.py文件编辑状态，修改程序。如图10所示。
以数据矩阵为参数根据公式求出数值归一化的特征矩阵、数据范围、最小值。
在main内调用归一化的方法，并将数据处理后得到的数据矩阵作为参数，输出数值归一化的特征矩阵、数据范围、最小值。如图11所示。
编辑完毕后，按【esc】退出编辑状态，【:wq】保存并退出编辑框，【python kNN_date.py】执行kNN_date的Python文件。如图12所示。
控制台分别打印归一化后的特征矩阵、数据范围、最小值
步骤4、验证分类器
机器学习算法最重要的工作就是评估算法的正确率，通常提供已有数据的90%作为训练样本来训练分类器，10%数据测试分类器。
再次进入kNN_date.py文件编辑状态，修改程序。如图13所示。
创建分类器(导入运算符模块【import operator】)。
测试分类器，90%作为训练集，10%作为测试集。如图14所示。
在main内调用测试分类器的方法。如图15所示。
编辑完毕后，按【esc】退出编辑状态，【:wq】保存并退出编辑框，【python kNN_date.py】执行kNN_date的Python文件。如图16所示。
根据结果得知错误率是3%。是一个在可以接受的范围之类。
步骤5、构建系统
给西普一个程序，通过该程序西普在约会网站找到并输入某个人的信息。程序会判断出对该男生的预测值。
再次进入kNN_date.py文件编辑状态，修改程序。如图17所示。
分别获取玩视频游戏所占的时间百分比、每年获得飞行常客里程数、每周消费的冰淇淋公升数的值。对数据集进行处理，数据集归一化，并生成测试集，对测试集归一化，之后对数据进行分类。返回分类的结果。
在main方法内调用classifyPerson()方法。
编辑完毕后，按【esc】退出编辑状态，【:wq】保存并退出编辑框，【python kNN_date.py】执行kNN_date的Python文件。如图18所示。
分别输入玩视频游戏所占的时间百分比为20、每年获得飞行常客里程数为52000、每周消费的冰淇淋公升数为1。得知西普非常喜欢这个人。
步骤6、源码
1 #coding:utf-8 2 import numpy as np 3 import operator 4 def file2matrix(filename): 5 fr = open(filename) #打开文件 6 arrayOLines = fr.readlines() #读取文件所有内容 7 numberOfLines = len(arrayOLines) #得到文件行数 8 returnMat = np.zeros((numberOfLines,3)) #生成numberOfLines行，3列数据 9 classLabelVector = [] #分类标签向量 10 index = 0 #行的索引值 11 for line in arrayOLines: 12 line = line.strip() #默认删除空白符 13 listFromLine = line.split('\t') #将字符串根据'\t'分隔符进行切片 14 returnMat[index,:] = listFromLine[0:3] #将数据前三列提取出来，存放到returnMat的Numpy矩阵 15 #根据文本中标记的喜欢的程度进行分类，1代表不喜欢，2代表魅力一般，3代表极具魅力 16 if listFromLine[-1] == 'didntLike': 17 classLabelVector.append(1) 18 elif listFromLine[-1] == 'smallDoses': 19 classLabelVector.append(2) 20 elif listFromLine[-1] == 'largeDoses': 21 classLabelVector.append(3) 22 index += 1 23 return returnMat,classLabelVector 24 """ 25 dataSet:特征矩阵 26 """ 27 def autoNorm(dataSet): 28 #获得数据的最小、最大值 29 minVals = dataSet.min(0) 30 maxVals = dataSet.max(0) 31 #最大值和最小值的范围 32 ranges = maxVals - minVals #最大值和最小值的范围 33 normDataSet = np.zeros(np.shape(dataSet)) #生成与dataSet相同矩阵行列数 34 m = dataSet.shape[0] #返回dataSet的行数 35 normDataSet = dataSet - np.tile(minVals,(m,1)) #原始值减去最小值 36 normDataSet = normDataSet / np.tile(ranges,(m,1)) #除以最大和最小值的差，得到归一化数据 37 #返回归一化数据结果，数据范围，最小值 38 return normDataSet,ranges,minVals 39 """ 40 分类器 41 inX:测试集 42 dataSet:训练集 43 label:分类标签 44 k:距离最小的k个点 45 """ 46 def classify0(inX,dataSet,labels,k): 47 dataSetSize = dataSet.shape[0] #返回dataSet的行数 48 diffMat = np.tile(inX,(dataSetSize,1)) - dataSet #生成四组二维已知预测数据与样本数据集相减 49 sqDiffMat = diffMat**2 #二维特征相减后的平方 50 sqDistances = sqDiffMat.sum(axis=1) #sum()所有元素相加，sum(1)行相加 51 distances = sqDistances**0.5 #开方，计算出距离 52 sortedDistIndices = distances.argsort() #返回从小到大排序后的索引值 53 classCount = {} #记录类别次数的字典 54 for i in range(k): 55 voteIlabel = labels[sortedDistIndices[i]] #取出前k个元素的类别 56 classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 #计算类别次数 57 #operator.itemgetter(1)根据字典的值进行排序 58 #reverse降序排序字典 59 sortedClassCount = sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True) 60 return sortedClassCount[0][0] #返回次数最多的类别，及索要分类的类别 61 """ 62 分类器测试 63 """ 64 def datingClassTest(): 65 filename = "datingTestSet.txt" #文件名 66 #将返回的特征矩阵和分类向量分别存储到datingdataMat和datingLabels中 67 datingDataMat, datingLabels = file2matrix(filename) 68 hoRatio = 0.10 #取所有数据的百分之十 69 #数据归一化，返回归一化的矩阵，数据范围，数据最小值 70 normMat, ranges, minVals = autoNorm(datingDataMat) 71 m = normMat.shape[0] #获得normMat的行数 72 numTestVecs = int(m * hoRatio) #百分之十的测试数据的个数 73 errorCount = 0.0 #分类错误计数 74 for i in range(numTestVecs): 75 #前numTestVecs个数据作为测试集，后m-numTestVecs个数据作为训练集 76 classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],4) 77 print "分类结果：%d\t真实类别：%d" %(classifierResult,datingLabels[i]) 78 if classifierResult != datingLabels[i]: 79 errorCount += 1.0 80 print "错误率：%f%%"%(errorCount/float(numTestVecs) * 100) 81 def classifyPerson(): 82 resultList = ['讨厌','有些喜欢','非常喜欢'] #输出结果 83 #三维特征用户输入 84 precentTats = float(raw_input("玩视频游戏所耗时间百分比：")) 85 ffmiles = float(raw_input("每年获得的飞行常客里程数：")) 86 iceCream = float(raw_input("每周消费的冰淇淋公升数：")) 87 filename = "datingTestSet.txt" #文件名 88 #打开并处理数据 89 datingDataMat,datingLabels = file2matrix(filename) 90 #训练集归一化 91 normMat,ranges,minVals = autoNorm(datingDataMat) 92 #生成Numpy数组，测试集 93 inArr = np.array([ffmiles,precentTats,iceCream]) 94 #测试集归一化 95 norminArr = (inArr-minVals) / ranges 96 #返回分类结果 97 classifierResult = classify0(norminArr,normMat,datingLabels,3) 98 #打印结果 99 print "你可能%s这个人" % (resultList[classifierResult-1]) 100 if __name__ == '__main__': 101 classifyPerson()
