【机器学习】KNN回归

回归的概念

http://book.2cto.com/201210/5831.html

《数据挖掘：概念与技术》1.4.3用于预测分析的分类与回归

http://www.zhihu.com/question/21329754/answer/18004852

分类是离散变量预测，回归是连续变量预测。

 

数据挖掘：概念与技术（中文第三版）PDF

http://vdisk.weibo.com/s/zDFQH9cZskXOL

 

超级详细的各种回归概念

http://xgli0910.blog.163.com/blog/static/469621682013101211712163/

 

k-NN regression (wiki)

http://en.wikipedia.org/wiki/K-nearest_neighbors_algorithm#k-NN_regression

http://zh.wikipedia.org/wiki/%E6%9C%80%E8%BF%91%E9%84%B0%E5%B1%85%E6%B3%95

在k-NN回归中，k-NN算法用于估计连续变量。一个这样的算法使用一个K近邻加权平均，通过它们的距离的倒数来加权。该算法的工作原理如下：

【1】计算从查询实例到标记示例的欧式或马氏距离。

【2】按距离从小到大来排列标记实例。

【3】基于RMSE，启发式地找到一个最优近邻数k。这是通过使用交叉验证完成的。

【4】计算k个最近邻居的距离倒数加权平均。 

 

========反距离加权插值========

“反距离加权插值”也叫“距离倒数乘方法”。

 

相似度计算方法（欧氏距离、标准欧氏距离 ）

http://wenku.baidu.com/view/ebde5d0e763231126edb1113.html

 

反距离加权插值方法研究

http://wenku.baidu.com/view/ae6a4a3131126edb6f1a1060.html

 

Inverse Distance Weighting 距离倒数加权 (wiki)

http://en.wikipedia.org/wiki/Inverse_distance_weighting

 

Inverse Distance Weighted Interpolation

https://www.ems-i.com/smshelp/Data_Module/Interpolation/Inverse_Distance_Weighted.htm

 

Interpolation: Inverse Distance Weighting

http://www.ncgia.ucsb.edu/pubs/spherekit/inverse.html

 

Inverse Distance Weighting matlab代码

http://www.mathworks.com/matlabcentral/fileexchange/27562-inverse-distance-weighted--idw--or-simple-moving-average--sma--interpolation

 

加权平均 (百度百科)

http://baike.baidu.com/view/588491.htm

 

=========================================

 

k-NN回归

http://www.saedsayad.com/k_nearest_neighbors_reg.htm

 

用Orange自带的k-NN回归做实验

http://www.saedsayad.com/knn_reg_exercise.htm

 

 

 

matlab多元线性回归

http://wenku.baidu.com/view/139ec687b9d528ea81c779dd.html

http://wenku.baidu.com/view/03a7264d2b160b4e767fcffc.html

 

UCI回归数据集

http://archive.ics.uci.edu/ml/datasets/Wine+Quality

最后一列为因变量，其余列为自变量。

http://archive.ics.uci.edu/ml/datasets/Forest+Fires

 

========其他机器学习回归方法========

逻辑回归

http://blog.csdn.net/abcjennifer/article/details/7716281