Knn和K-means
先开个标题,以后慢慢填充。
k近邻算法(knn)属于监督学习
一、 三个关键点:1、k的取值,当k值较小时,选取点较少,相当于会有在较小的范围内进行学习预测,学习误差会减小,但是估计误差会增大,因为训练样本中存在噪声,选取过小的区域,噪声干扰的权重会较大,因为影响泛化能力,k减小意味整体模型复杂,容易过拟合;k选较大值时,以为选取较大的邻域进行预测,可以减少估计误差,但缺点是学习近似误差会增大,较远的点也会起到作用,k增大以为这模型简单。但是不能一味把k取大,除了计算量外,如k=N,那么无论输入实力是什么,预测结果都是训练集中最多的那个类。
2、距离的度量,最常见的欧式距离,更一般的是Lp距离,Lp范式,p=2时就是欧式距离。
3、分类决策规则:多数表决
二、kd树,是一种便于对k维空间中的数据进行快速检索的数据结构。kd树是二叉树,用来对空间进行划分,减少运算量的一种数据格式。
k均值(k-means)
是非监督学习,