K邻近算法

1. k邻近算法概述：

k邻近算法简单直观，给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类

2. k邻近算法的模型复杂度体现在哪里？什么情况下会造成过拟合

k邻近算法模型复杂度体现在k值，k比较小时容易造成过拟合，k较大时容易造成欠拟合

3. 线性扫描算法

线性扫描算法步骤如下：

输入：训练数据集T={(x1,y1),(x2,y2),...(xn,yn)}

　　   待预测数据：(x_test)

　　   k值

（1）计算x_test与 xi的欧式距离

（2）欧式距离排序

（3）取前k个最小距离，对应训练数据点的类型y

（4）对k个y值进行统计

（5）返回频率出现最高的点

import numpy as np
from collection import Counter
from draw import draw
class KNN:
    def _init_(self,x_train,y_train,k=3):
        self.k=k
        self.x_train=x_train
        self.y_train=y_train
        
    def predict(self,x_new):
        #计算欧式距离
        dist_list=[(np.linalg.norm(x_new=self.x_train[i],ord=2),self.y_train[i])
                  for i in range(self.x_train.shape[0])]
        dist_list.sort(key=lambda x: x[0])                  
        y_list=[dist_list[i][-1] for i in range(self.k)]
        #对上述k个点的分类进行统计
        y_count=Counter(y_list).most_common()
        return y_count[0][0]
    
def main():
    #首先输入训练数据
    x_train=np.array([[5,4],
                      [9,6],
                      [4,7],
                      [2,3],
                      [8,1],
                      [7,2]])
    y_train=np.array([1,1,1,-1,-1,-1])
    输入测试数据
    x_new=np.array([5,3])
    #绘图
    draw(x_train,y_train,x_new)
    for k in range(1,6,2):
        #构建KNN实例
        elf=KNN(x_train,y_train,k=k)
        #对测试数据进行分类
        y_predict=elf.predict(x_new)
        print("k={},被分类为：{}").format(k,y_predict)
if __name__ == "main":
    main()