属于离散监督，是一个简单的分类算法
工作原理：
存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。
k-近邻算法，主要是求输入向量和训练样本之间的距离，距离近的表示是同一类，距离远的表示不是同一类，所谓物以类聚。然后将这些排序，最后取k个最小的，判断这k个最小的中的数据是哪一类的，最后得出输入向量是属于哪一类的。
书中分别以约会预测和手写数字识别为例进行展开。
k-近邻算法是分类数据最简单最有效的算法。k-近邻算法是基于实例的学习，使用算法时我们必须有接近实际数据的训练样本数据。而且必须保存全部数据集，如果训练数据集很大，就需要占用大量的存储空间，并且数据量一大就会很耗时。
无法给出任何数据的基础结构信息，因此我们也无法知道平均实例样本和典型实例样本具有什么特征。
