统计学习方法 李航---第3章 k近邻法
第3章 k*邻法
k*邻法(k-nearest neighbor, k-NN)是一种基本分类与回归方法。k*邻法假设给定一个训练数据集，其中的实例类别己定。分类时，对新的实例，根据其k个最*邻的训练实例的类别通过多数表决等方式进行预测。k*邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。k值的选择、距离度量及分类决策规则是k*邻法的三个基本要素。
3.1 k*邻算法
3.2 k*邻模型
k*邻法三个基本要素：距离度量、k值的选择和分类决策规则
距离度量: 常用欧氏距离，其他距离
Lp距离(与distance)
当p=2时，称为欧氏距离(Euclidean distance)
当p=1时，称为曼哈顿距离(Manhattan distance )
Minkowski距离
k值的选择
如果选择较小的k值，“学
*”的*似误差( approximation ertor)会减小，只有与输入实例较*的(相似的)
训练实例才会对预测结果起作用。但缺点是“学*”的估计误差(estimarion ertor)
会增大，预测结果会对*邻的实例点非常敏感。如果邻*的实例点恰巧是噪声，
预测就会出错.换句话说，k值的减小就意味着整体模型变得复杂，容易发生过
拟合。
如果选择较大的k值，正好相反，
k值的增大
就意味着整体的模型变得简单.
如果k=N，那么无论输入实例是什么，都将简单地预测它属于在训练实例
中最多的类。这时，模型过于简单，完全忽略训练实例中的大量有用信息，是不
可取的.
在应用中，k值一般取一个比较小的数值.通常采用交叉验证法来选取最优
的k值.
分类决策规则
常用：多数表决规则(majority voting rule)：0-1
损失函数下
经验风险最小化.
3.3 k*邻法的实现:kd树
kd树是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形
数据结构。kd树是二叉树，表示对k维空间的一个划分(partition)。构造kd树相
当于不断地用垂直于坐标轴的超平面将k维空间切分，构成一系列的k维超矩形区
域。kd树的每个结点对应于一个k维超矩形区域.
构造kd树:
- 输入：k维空间数据集
- 构造根结点，使根结点对应于k维空间中包含所有实
例点的超矩形区域；
-
通过下面的递归方法，不断地对k维空间进行切分，生成子结点。在超矩形区域(结点)上选择一个坐标轴和在此坐标轴上的一个切分点，确定一个超平面。这个超平面通过选定的切分点并垂直于选定的坐标轴，将当前超矩形区域切分为左右两个子区域(子结点)；这时，实例被分到两个子区域。
-
temp这个过程直到子区域内没有实例时终止(终止时的结点为叶结点)。在此过程中，将实例保存在相应的结点上。
平衡kd树构造：步骤 2中，
坐标轴选择：对深度为j的结点，选择x(i)为切分的坐标轴，i = j(modk)+1；
切分点选择：选定坐标轴上的中位数(median)为切分点。平衡的kd树搜索时的效率未必是最优的.
搜索kd树：
算法3.3(用kd树的最*邻搜索)
输入: 已构造的kd树:目标点x;
输出x的最*邻.
- 在kd树中找出包含目标点x的叶结点:从根结点出发，递归地向下访问kd树.若目标点x当前维的坐标小于切分点的坐标，则移动到左子结点，否则移动到右子结点.直到子结点为叶结点为止.
- 以此叶结点为“当前最*点”.
- 递归地向上回退，在每个结点进行以下操作:
- 如果该结点保存的实例点比当前最*点距离目标点更*，则以该实例点为“当前最*点“
- 当前最*点一定存在于该结点一个子结点对应的区域。检查该子结点的父结点的另一子结点对应的区域是否有更*的点。具体地，检查另一子结点对应的区域是否与以目标点为球心、以目标点与“当前最*点”间的距离为半径的超球体相交。如果相交，可能在另一个子结点对应的区域内存在距目标点更*的点，移动到另一个子结点。接着，递归地进行最*邻搜索。 如果不相交，向上回退。
- 当回退到根结点时，搜索结束最后的“当前最*点”即为x的最*邻点..
如果实例点是随机分布的，kd树搜索的平均计算复杂度是O(log N)，这里N是训练实例数。kd树更适用于训练实例数远大于空间维数时的k*邻搜索。当空间维数接*训练实例数时，它的效率会迅速下降，几乎接*线性扫描。
