k近邻算法--改进约会网站配对效果
k近邻算法采用测量数据点之间的距离的方法进行分类。
样本数据集（训练样本集）：样本集中每一数据与所属分类存在对应关系。
新数据分类：将新数据与训练样本集中数据进行比较，提取样本集中特征与新数据最相似（数据点之间的距离最小）的k个点，将这k个点的分类标签作为新数据的分类。
下面用该算法来改进约会网站配对效果，代码来源为《机器学习实战》。
训练样本集特征 :
- 每年飞行里程
- 玩游戏所耗时间百分比
- 每周消费冰淇淋量
训练样本集分类 :
- 不喜欢的人
- 魅力一般的人
- 极具魅力的人
训练样本为文本数据集，需要先转化数据格式：
def fileTransfromMatrix(filename): # 该函数输入为文件名字符串 输出为训练样本矩阵和类标签向量
filedata = open(filename) # 打开文件
numberOfLines = len(filedata.readlines()) # 获取文件数据行数
returnMatrxix = np.zeros((numberOfLines,3)) # 创建空的样本矩阵
classLabelVector = [] # 创建空的类标签向量
index = 0
filedata = open(filename)
for line in filedata.readlines():
line = line.strip() # strip()函数 删除开头结尾处的空白符
listFromLine = line.split('\t') # 按照制表符对行文本进行切片 生成数组文件
returnMatrxix[index,:] = listFromLine[0:3] # 给样本矩阵的第index行(所有元素)赋值
classLabelVector.append(int(listFromLine[-1])) # 给类标签向量添加该样本类别值
index += 1
return returnMatrxix,classLabelVector
在处理不同取值范围的特征值时，需要先将数值归一化，将取值范围处理到[0,1]之间：
def dataNormal(dataSet):
minVals = dataSet.min(0) # 参数0使得函数从所有列中选取最小值
maxVals = dataSet.max(0)
ranges = maxVals - minVals
normalDataSet = np.zeros(np.shape(dataSet))
m = dataSet.shape[0]
normalDataSet = dataSet - np.tile(minVals,(m,1))
normalDataSet = normalDataSet / np.tile(ranges,(m,1))
return normalDataSet,ranges,minerals
接下来就是k近邻算法实现的代码了：
def classifyPerson(inX, dataSet, labels, k): # 输入为预测点 训练样本特征数组 训练样本类别数组 K值
dataSetSize = dataSet.shape[0] # 获取行数
diffMatrix = np.tile(inX, (dataSetSize,1)) - dataSet # 计算预测点与所有欧训练点的差值
sqrDiffMat = diffMatrix**2
sqrDistances = sqrDiffMat.sum(axis=1) # 按行求和
distances = sqrDistances**0.5 # 计算距离
sortedDistIndicies = distances.argsort() # 距离值从小到大排列，返回对应的索引
classCount={}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]] # 从小到大取距离
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 # 将该点的类别添加到字典中
# sorted函数：返回一个经过排序的列表
# key 指定用于排序的列
# reverse 设置为True时为倒序排列
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
输入一个新的数据，机器判断所属类别：
def classifyNewPerson():
classList = ['Not interest', 'small interest', 'large interest']
flyMiles = float(input('每年的飞行公里数')) #输入新数据三个特征值
playGames = float(input('视频游戏所花时间占比'))
iceCream = float(input('消费的雪糕量'))
datingMatrix,classLabels = fileTransfromMatrix('/Users/Desktop/datingTestSet2.txt')
normalDataSet,ranges,minVals = dataNormal(datingMatrix)
inputData = np.array([flyMiles,playGames,iceCream])
classifierResult = classifyPerson((inputData-minVals)/ranges,normalDataSet,classLabels,3)
print('You will probably like this person : ',classList[classifierResult - 1])
