01 K近邻算法
K近邻算法采用测量不同特征值之间的距离方法进行分类
- 优点：精读高，对异常值不敏感，无数据输入假定
- 缺点：计算算杂度高，空间复杂度高。适合数据范围：数值型和标称型
K近邻算法是分类数据最简单最有效的算法。是基于实例的学习，使用算法时我们必须有接近实际数据的训练
样本数据。K近邻算法必须保存全部数据集，如果训练数据集很大，必须使用大量的存储空间。
由于必须对数据集中的每个数据计算距离值，实际使用时可能非常耗时。
它无法给出任何数据的基础结构信息，因此，我们也无法知晓平均实例样本和典型实例样本具体有什么特征
import numpy as np
import pandas as pd
import operator
def createDataSet():
group = np.array([[1.0, 1.1],
[1.0, 1.0],
[0, 0],
[0, 0.1]])
labels = ['A', 'A', 'B', 'B']
return group, labels
def classify1(inX, dataSet: pd.DataFrame, labels: list, k: int) -> str:
"""
k Nearest Neighbors -- 欧式距离 使用pandas的DataFrame
"""
distances = pd.DataFrame({'data': (((dataSet - inX) ** 2).sum(1)) ** 0.5, 'labels': labels})
sortedClassCount = pd.DataFrame(distances).sort_values(by='data')[:k]
re = sortedClassCount.loc[:, 'labels'].value_counts()
return re.index[0]
def classify0(inX, dataSet: np.ndarray, labels: list, k: int) -> str:
"""
k Nearest Neighbors -- 欧式距离
:param inX: 输入向量
:param dataSet: 输入的训练样本集
:param labels: 标签向量
:param k: 选择最近邻居的数目
:return: 最受欢迎的标签
"""
dataSetSize = dataSet.shape[0]
# 距离计算
# 行重复dataSetSize次，列1次
diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
# 平方和
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis=1)
# 开方
distances = sqDistances ** 0.5
# 排序索引
sortedDistIndicies = distances.argsort()
classCount = {}
# 选择距离最小的额k个点
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
# 对第1维的元素进行降序排序
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
if __name__ == '__main__':
group, labels = createDataSet()
print(classify0([0, 0], group, labels, 3))
print(classify1([0, 0], pd.DataFrame({'a': group[:, 0], 'b': group[:, 1]}), labels, 3))
sklearn中knn的使用
k-近邻算法的核心思想是未标记样本的类别，由距离其最近的 k个邻居投票来决定。
算法优缺点
- 优点:准确性高，对异常值和噪声有较高的容忍度
- 缺点 :计算量较大，对内存的需求也较大。从算法原理可以看出来，每次对一个未标记样本进行分类时，都需要全部计算一遍距离
算法参数
其算法参数是k，参数选择需要根据数据来决定。
- k值越大，模型的偏差越大，对噪声数据越不敏感，当 k值很大时，可能造成模型欠拟合；
- k值越小，模型的方差就会越大，当k值太小，就会造成模型过拟合。
算法的变种
- 可以增加邻居的权重。默认情况下，在计算距离时，都是使用相同权重。实际上，我们可以针对不同的邻居指定不同的距离权童，如距离越近权重越高。这个可以通过指定算法的 weights参数来实现。
- 使用一定半径内的点取代距离最近的 k 个点。在 scikit-learn 里 ， RadiusNeighborsClassifier 类实现了这个算法的变种。当数据采样不均匀时，该算法变种可以取得更好的性能
示例:使用 k-近邻算法进行分类
import numpy as np
from sklearn.datasets._samples_generator import make_blobs
import matplotlib.pyplot as plt
centers = [[-2, 2], [2, 2], [0, 4]]
# cluster_std标准差，用来指明生成的点分布的松散程度
X, y = make_blobs(n_samples=60, centers=centers, random_state=0, cluster_std=0.60)
plt.figure(figsize=(16, 10), dpi=144)
c = np.array(centers)
plt.scatter(X[:, 0], X[:, 1], c=y, s=100, cmap='cool') # 画出样本
plt.scatter(c[:, 0], c[:, 1], s=100, marker='^', c='orange') # 画出中心点
from sklearn.neighbors import KNeighborsClassifier
# 模型训练
k = 5
clf = KNeighborsClassifier(n_neighbors=5)
clf.fit(X, y)
# 进行预测
X_sample = [[0, 2]]
y_sample = clf.predict(X_sample)
print('y_sample', y_sample)
# 把样本周围距离最近的5个点取出来
neighbors = clf.kneighbors(X_sample, return_distance=False)
plt.scatter(X_sample[0][0], X_sample[0][1], marker='x', c=y_sample, s=100, cmap='cool') # 预测点
# 预测点与最近5个样本点连线
for i in neighbors[0]:
plt.plot([X[i][0], X_sample[0][0]], [X[i][1], X_sample[0][1]], 'k--', linewidth=0.6)
plt.show()
示例:使用 k-近邻算法进行回归拟合
import numpy as np
# 生成数据集，它在余弦曲线的基础上加入噪声
n_dots = 40
X = 5 * np.random.rand(n_dots, 1)
y = np.cos(X).ravel()
y += 0.2 * np.random.rand(n_dots) - 0.1
from sklearn.neighbors import KNeighborsRegressor
import matplotlib.pyplot as plt
k = 5
knn = KNeighborsRegressor(k)
knn.fit(X, y)
print(knn.score(X, y))
# 进行回归拟合
# 思路：在X轴上的指定区域内生成足够多的点，使用训练出来的模型进行预测，将所有预测点进行连接，画出拟合曲线
T = np.linspace(0, 5, 500)[:, np.newaxis] # np.newaxis的作用是增加一个维度
print(T.shape)
y_pred = knn.predict(T)
plt.figure(figsize=(16, 10), dpi=144)
plt.scatter(X, y, c='g', label='data', s=100) # 画出训练样本
plt.plot(T, y_pred, c='k', label='prediction', lw=4) # 画出拟合曲线
plt.axis('tight')
plt.title('KNeighborsRegressor (k=%i)' % k)
plt.show()
参考
- 黄永昌等，scikit-learn机器学习——常用算法原理及编程实战，北京：机械工业出版社，2018
