K-近邻算法

K=？

对于未知类别属性数据集中的点：

1、计算已知类别数据集中的点与当前点的距离
2、按照距离依次排序
3、选取与当前点距离最小的K个点
4、确定前K个点所在类别的出现概率
5、返回前K个点出现频率最高的类别作为当前点预测分类

概述：
（1）KNN算法本身简单有效，它是一种lazy-learning算法。
（2）分类器不需要使用训练集进行训练，训练时间复杂度为0。
（3)KNN分类的计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为n，那么KNN的分类时间复杂度为O(n)。

K值的选择，距离度量和分类决策规则是该算法的三个基本要素

问题：该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占大多数

解决：不同的样本给与不同权重项

1、选择超参数的正确方法是：将原始训练集分为训练集和验证集，我们在验证集上尝试不同的超参数，最后保留表现最好的那个。
2、如果训练数据量不够，就使用交叉验证方法，它能帮助我们在选取最优超参数的时候减少噪音。
3、一旦找到最优的超参数，就让算法以该参数在测试集跑且只跑一次，并根据测试结果评价算法。
4、最近邻分类器能够在CIFAR-10上得到近40%的准确率。该算法简易实现，但需要存储所有训练数据，并且在测试的时候过于耗费计算能力。
5、最后，我们知道了仅仅使用L1和L2范数来进行像素比较是不够的，图像更多的是按照背景和颜色分类，而不是语义主体分身。

1、预处理你的数据：对你的数据中的特征进行归一化（normalize），让其具有零平均值（zero mean）和单位方差（unit variance）。
2、如果数据是高维数据，考虑使用减维方法，比如PCA。
3、将数据随机分入训练集和验证集。按照一般规律，70%-90%数据作为训练集。
4、在验证集上调优，尝试足够多的K值，尝试L1和L2两种范数计算方式。