K-近邻算法（KNN）
In [3]:
import pandas as pd
import numpy as np
In [ ]:
xxxxxxxxxx
a(x1,y1,z1)
b(x2,y2,z2)
dist(a,b) = ((x1-x2)**2 + (y1-y2)**2 + (z1-z2)**2)**0.5
### 如何进行电影分类
众所周知，电影可以按照题材分类，然而题材本身是如何定义的?由谁来判定某部电影属于哪
个题材?也就是说同一题材的电影具有哪些公共特征?这些都是在进行电影分类时必须要考虑的问
题。没有哪个电影人会说自己制作的电影和以前的某部电影类似，但我们确实知道每部电影在风格
上的确有可能会和同题材的电影相近。那么动作片具有哪些共有特征，使得动作片之间非常类似，
而与爱情片存在着明显的差别呢？动作片中也会存在接吻镜头，爱情片中也会存在打斗场景，我们
不能单纯依靠是否存在打斗或者亲吻来判断影片的类型。但是爱情片中的亲吻镜头更多，动作片中
的打斗场景也更频繁，基于此类场景在某部电影中出现的次数可以用来进行电影分类。
本章介绍第一个机器学习算法：K-近邻算法，它非常有效而且易于掌握。
如何进行电影分类¶
众所周知，电影可以按照题材分类，然而题材本身是如何定义的?由谁来判定某部电影属于哪 个题材?也就是说同一题材的电影具有哪些公共特征?这些都是在进行电影分类时必须要考虑的问 题。没有哪个电影人会说自己制作的电影和以前的某部电影类似，但我们确实知道每部电影在风格 上的确有可能会和同题材的电影相近。那么动作片具有哪些共有特征，使得动作片之间非常类似， 而与爱情片存在着明显的差别呢？动作片中也会存在接吻镜头，爱情片中也会存在打斗场景，我们 不能单纯依靠是否存在打斗或者亲吻来判断影片的类型。但是爱情片中的亲吻镜头更多，动作片中 的打斗场景也更频繁，基于此类场景在某部电影中出现的次数可以用来进行电影分类。
本章介绍第一个机器学习算法：K-近邻算法，它非常有效而且易于掌握。
简单地说，K-近邻算法采用测量不同特征值之间的距离方法进行分类。
简单地说，K-近邻算法采用测量不同特征值之间的距离方法进行分类。
- 优点：精度高(计算距离)、对异常值不敏感（单纯根据距离进行分类，会忽略特殊情况）、无数据输入假定（不会对数据预先进行判定）。
- 缺点：时间复杂度高、空间复杂度高。
- 适用数据范围：数值型和标称型。
- 优点：精度高(计算距离)、对异常值不敏感（单纯根据距离进行分类，会忽略特殊情况）、无数据输入假定（不会对数据预先进行判定）。
- 缺点：时间复杂度高、空间复杂度高。
- 适用数据范围：数值型和标称型。
存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据
与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的
特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们
只选择样本数据集中前K个最相似的数据，这就是K-近邻算法中K的出处,通常*K是不大于20的整数。
最后 ，选择K个最相似数据中出现次数最多的分类，作为新数据的分类*。
存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据 与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的 特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们 只选择样本数据集中前K个最相似的数据，这就是K-近邻算法中K的出处,通常K是不大于20的整数。 最后 ，选择K个最相似数据中出现次数最多的分类，作为新数据的分类。
回到前面电影分类的例子，使用K-近邻算法分类爱情片和动作片。有人曾经统计过很多电影的打斗镜头和接吻镜头，下图显示了6部电影的打斗和接吻次数。假如有一部未看过的电影，如何确定它是爱情片还是动作片呢？我们可以使用K-近邻算法来解决这个问题。
回到前面电影分类的例子，使用K-近邻算法分类爱情片和动作片。有人曾经统计过很多电影的打斗镜头和接吻镜头，下图显示了6部电影的打斗和接吻次数。假如有一部未看过的电影，如何确定它是爱情片还是动作片呢？我们可以使用K-近邻算法来解决这个问题。
首先我们需要知道这个未知电影存在多少个打斗镜头和接吻镜头，上图中问号位置是该未知电影出现的镜头数图形化展示，具体数字参见下表。
首先我们需要知道这个未知电影存在多少个打斗镜头和接吻镜头，上图中问号位置是该未知电影出现的镜头数图形化展示，具体数字参见下表。
即使不知道未知电影属于哪种类型，我们也可以通过某种方法计算出来。首先计算未知电影与样本集中其他电影的距离，如图所示。
即使不知道未知电影属于哪种类型，我们也可以通过某种方法计算出来。首先计算未知电影与样本集中其他电影的距离，如图所示。
现在我们得到了样本集中所有电影与未知电影的距离，按照距离递增排序，可以找到K个距
离最近的电影。假定k=3，则三个最靠近的电影依次是California Man、He's Not Really into Dudes、Beautiful Woman。K-近邻算法按照距离最近的三部电影的类型，决定未知电影的类型，而这三部电影全是爱情片，因此我们判定未知电影是爱情片。
现在我们得到了样本集中所有电影与未知电影的距离，按照距离递增排序，可以找到K个距 离最近的电影。假定k=3，则三个最靠近的电影依次是California Man、He's Not Really into Dudes、Beautiful Woman。K-近邻算法按照距离最近的三部电影的类型，决定未知电影的类型，而这三部电影全是爱情片，因此我们判定未知电影是爱情片。
欧氏距离是最常见的距离度量，衡量的是多维空间中各个点之间的绝对距离。公式如下：
欧氏距离是最常见的距离度量，衡量的是多维空间中各个点之间的绝对距离。公式如下：
- 分类问题：from sklearn.neighbors import KNeighborsClassifier
- 分类问题：from sklearn.neighbors import KNeighborsClassifier
导包，机器学习的算法KNN、数据蓝蝴蝶
导包，机器学习的算法KNN、数据蓝蝴蝶
In [2]:
import sklearn.datasets as datasets
datasets.load_iris()
. . .
读取adult.txt文件，最后一列是年收入，并使用KNN算法训练模型，然后使用模型预测一个人的年收入是否大于50
读取adult.txt文件，最后一列是年收入，并使用KNN算法训练模型，然后使用模型预测一个人的年收入是否大于50
In [5]:
xxxxxxxxxx
data = pd.read_csv('../data/adults.txt')
data.head()
Out[5]:
获取年龄、教育程度、职位、每周工作时间作为机器学习数据
获取薪水作为对应结果
获取年龄、教育程度、职位、每周工作时间作为机器学习数据
获取薪水作为对应结果
In [9]:
xxxxxxxxxx
feature = data[['age','education_num','occupation','hours_per_week']]
target = data['salary']
- knn中特征数据是需要参与运算的，所以要保证特征数据必须为数值型的数据
- knn中特征数据是需要参与运算的，所以要保证特征数据必须为数值型的数据
In [10]:
xxxxxxxxxx
feature.head(2) #
Out[10]:
数据转换，将String类型数据转换为int
数据转换，将String类型数据转换为int
【知识点】map方法，进行数据转换
【知识点】map方法，进行数据转换
In [16]:
xxxxxxxxxx
dic = {}
occ_arr = feature['occupation'].unique()
for i in range(occ_arr.size):
dic[occ_arr[i]] = i
dic
Out[16]:
In [18]:
xxxxxxxxxx
feature['occupation'] = feature['occupation'].map(dic)
切片：训练数据和预测数据
切片：训练数据和预测数据
In [20]:
xxxxxxxxxx
feature.shape
Out[20]:
In [21]:
xxxxxxxxxx
#训练数据
x_train = feature[:32500]
y_train = target[:32500]
#测试数据
x_test = feature[32500:]
y_test = target[32500:]
生成算法
生成算法
In [30]:
xxxxxxxxxx
from sklearn.neighbors import KNeighborsClassifier
knn = KNeighborsClassifier(n_neighbors=10)
knn.fit(x_train,y_train)
knn.score(x_test,y_test)
Out[30]:
第二步：预测数据
第二步：预测数据
In [33]:
print('真实的分类结果：',np.array(y_test))
print('模型的分类结果：',knn.predict(x_test))
In [2]:
import numpy as np
import matplotlib .pyplot as plt
import pandas as pd
from sklearn.neighbors import KNeighborsClassifier
In [5]:
xxxxxxxxxx
#加载数据
img_arr = plt.imread('./data/6/6_66.bmp')
plt.imshow(img_arr)
Out[5]:
In [6]:
xxxxxxxxxx
img_arr.shape #图片的像素为28*28，对应的numpy数组是二维
Out[6]:
In [7]:
xxxxxxxxxx
#./data/6/6_66.bmp
feature = []
target = []
for i in range(10): #i表示的文件夹的名称
for j in range(1,501):
img_path = './data/'+str(i)+'/'+str(i)+'_'+str(j)+'.bmp'
img_arr = plt.imread(img_path)
feature.append(img_arr)
target.append(i)
In [13]:
xxxxxxxxxx
#提取样本数据
feature = np.array(feature) #必须保证是二维
target = np.array(target)
In [14]:
xxxxxxxxxx
feature.shape #目前的特征是3维
Out[14]:
In [15]:
xxxxxxxxxx
#特征处理：将三维的特征变形成二维
feature = feature.reshape((5000,-1))
In [16]:
xxxxxxxxxx
feature.shape
Out[16]:
- 总结：feature特征数据中存放是5000个一维的图片数据
- 总结：feature特征数据中存放是5000个一维的图片数据
- 对样本数据进行拆分
- 对样本数据进行拆分
In [20]:
xxxxxxxxxx
#对样本数据进行打乱
np.random.seed(10)
np.random.shuffle(feature)
np.random.seed(10)
np.random.shuffle(target)
In [21]:
xxxxxxxxxx
#拆分
x_train = feature[:4950]
y_train = target[:4950]
x_test = feature[4950:]
y_test = target[4950:]
- 实例化模型对象，然后对其进行训练
- 实例化模型对象，然后对其进行训练
In [38]:
xxxxxxxxxx
knn = KNeighborsClassifier(n_neighbors=5)
knn.fit(x_train,y_train)
knn.score(x_test,y_test)
Out[38]:
In [39]:
xxxxxxxxxx
print('真实的分类结果：',y_test)
print('模型的分类结果：',knn.predict(x_test))
- 保存模型
- 保存模型
In [41]:
xxxxxxxxxx
from sklearn.externals import joblib
joblib.dump(knn,'./knn.m')
Out[41]:
In [42]:
xxxxxxxxxx
knn = joblib.load('./knn.m')
knn
Out[42]:
- 使用模型识别外部的数字图片
- 使用模型识别外部的数字图片
In [69]:
xxxxxxxxxx
img_arr = plt.imread('./数字.jpg')
plt.imshow(img_arr)
Out[69]:
In [70]:
xxxxxxxxxx
img_arr.shape
Out[70]:
In [71]:
xxxxxxxxxx
eight_img = img_arr[180:235,90:130,:]
plt.imshow(eight_img)
Out[71]:
In [58]:
xxxxxxxxxx
feature[0].shape
Out[58]:
- 模型可以识别的图片的维度是取决于样本数据的
- 可以识别的图片是28*28像素
- 图片是没有颜色这个维度
- 模型识别的图片(784,)
- 模型可以识别的图片的维度是取决于样本数据的
- 可以识别的图片是28*28像素
- 图片是没有颜色这个维度
- 模型识别的图片(784,)
In [72]:
xxxxxxxxxx
eight_img.shape
Out[72]:
In [73]:
xxxxxxxxxx
eight_img = eight_img.mean(axis=2)
In [74]:
xxxxxxxxxx
eight_img.shape
Out[74]:
- 对降维之后的图片的像素进行等比例压缩
- 对降维之后的图片的像素进行等比例压缩
In [76]:
xxxxxxxxxx
import scipy.ndimage as ndimage
eight_img = ndimage.zoom(eight_img,zoom=(28/55,28/40))
eight_img.shape
Out[76]:
In [79]:
xxxxxxxxxx
eight_img = eight_img.reshape(1,-1)
eight_img.shape
Out[79]:
In [80]:
knn.predict(eight_img)
Out[80]:
import numpy as np import pandas as pd from pandas import Series,DataFrame from sklearn.neighbors import KNeighborsClassifier cancer = pd.read_csv('./data/cancer.csv',sep='\t') print(cancer.shape) #target中m恶性，b良性 data = cancer.iloc[:,2:] target = cancer.iloc[:,1] display(data.head(),target.head()) knn = KNeighborsClassifier(n_neighbors=15) #打乱顺序，并且给它一分为二，训练数据，预测数据 #sklearn为我们能提供方法 from sklearn.model_selection import train_test_split #使用其进行分割 X_train,X_test,y_train,y_test = train_test_split(data,target,test_size = 0.1) knn.fit(X_train,y_train) score = knn.score(X_test,y_test) y_ = knn.predict(X_test) print(score) #可以说明真实值和预测值拿一些数据不同了 pd.crosstab(index=y_,columns=y_test,rownames=['Predict'],colnames=['True']) #提升准确度 #对数据进行清洗 #归一化 #(num -min)/(max-min) columns = data.columns for col in columns: data_min = data[col].min() data_max = data[col].max() # data[col] = (data[col] -data_min)/(data_max-data_min) print(data[col]) break;
