=================================版权声明=================================

版权声明：原创文章 禁止转载 

请通过右侧公告中的“联系邮箱（wlsandwho@foxmail.com）”联系我

勿用于学术性引用。

勿用于商业出版、商业印刷、商业引用以及其他商业用途。　　　　　　　　　　　　　　　　   

 

本文不定期修正完善。

本文链接：http://www.cnblogs.com/wlsandwho/p/7512119.html

耻辱墙：http://www.cnblogs.com/wlsandwho/p/4206472.html

=======================================================================

很显然我没有足够的巩俐，啊功力去讲解机器学习的大道理，但是我愿意把我的读书笔记分享出来。

当然，我保留版权。

=======================================================================

关于kNN算法的伪代码描述，我这里得写一下，因为《机器学习实践》这本书里写的不是很清楚。（当然我的用词更通俗，毕竟不能照抄原文啊:）

1 　　计算目标点与数据集中每个点的距离。

　　这个求距离的算法应当是根据实际情况具体问题具体分析采取的。书中使用的是欧几里德几何体系里的两点之间的距离。对，就是初中学的那个。

2　　对距离的结果按照从小到大的顺序排序。

　　这里要记录哪个结果是由哪个点产生的。总不能排序之后结果排序了，但是对应点找不到了吧？

3　　从结果中取前k个点。

　　kNN算法之所以叫kNN算法，是因为它选取了前k个点。　

4　　记录这k个点对应类别的频率。

　　比方说在这k个点中，a类出现了5次，b类出现了2次，c类出现了7次

5　　取出现频率最高的类别作为结果。

　　通俗地讲，就是发现跟a有5成像，跟b有2成像，跟c有7成像。当然是选最像的啦。

=======================================================================

话是这么说，看起来也很简单。但是用指定的编程语言实现，就得看对于该语言的熟练程度了。

比方说，我用C++写的话，比较麻烦的地方是矩阵运算，其他就很简单了。

但是用Python的话，我需要熟悉相关的类库和代码。

=======================================================================

对于我这种只看过《Python编程：从入门到实践》的人来说，看《机器学习与实践》的代码还是要查资料的。

要理解下面的内容：

1　　tile（x,(m,n)）

　　通俗的说就是把指定的块x，按行复制m次，按列复制n次。m和n是可以取0的，但这没有意义，因为把没有复制了0次，还是没有啊:)

　　为什么我说的是块x呢？因为这个x可以是一个数，也可以是一个矩阵。对，大学线性代数课程里对矩阵运算时，就是可以把某一部分看成一个子矩阵的。这个同理。

2　　x.sum(axis=？)

　　手册上说，是垂直求和还是水平求和。

3　　a.argsort()

　　这个得画个图。一图胜千言。输入5316，输出2103。

贴出示例小代码有助于理解。毕竟我们用事实说话。

 1 from numpy import *
 2 import operator
 3 
 4 
 5 r=array([[1,2,3,4],[5,6,7,8],[9,10,11,12]])
 6 rows=r.shape[0]
 7 print(rows)
 8 
 9 x=[5,6]
10 xxx=tile(x,(3,2))
11 print(xxx)
12 
13 a=array([5,3,1,6])
14 #1,3, 5, 6
15 #2,1, 0, 3
16 b=a.argsort()
17 print(b)
18 print(b[0])
19 
20 c={}
21 c['c']=1
22 c["b"]=2
23 c["a"]=1
24 c["a"]=c.get('a')+5
25 print(c["a"])
26 
27 d=sorted(c.items(),key=operator.itemgetter(1),reverse=True)
28 print(d)
29 print(d[0][0])
30 
31 mm=array([[1,2,3],[5,6,7]])
32 print(mm.sum(axis=0))
33 print(mm.sum(axis=1))

=======================================================================

好了，可以贴我的kNN代码了。Python的风格不习惯，随手写了下。

 1 from numpy import *
 2 import operator
 3 
 4 
 5 def create_data_set():
 6     group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
 7     labels=["A","A","B","B"]
 8 
 9     return group,labels
10 
11 def classify_kNN(dest,sample,labels,k):
12     rows=sample.shape[0]
13     dests=tile(dest,(rows,1))
14     res=(((dests-sample)**2).sum(axis=1))**0.5
15     resrank=res.argsort()
16 
17     clfy={}
18 
19     for i in range(k):
20         index=resrank[i]
21         sometype=labels[index]
22         clfy[sometype]=clfy.get(sometype,0)+1
23 
24     sclfy=sorted(clfy.items(),key=operator.itemgetter(1),reverse=True)
25 
26     return sclfy[0][0]

这是算法。

下面是调用。

1 g,l=create_data_set()
2 r=classify_kNN([0.5,0.6],g,l,2)
3 print(r)

这个是结果

=======================================================================

那么问题来了：

新分类值是否可以加入样本扩充原来的数据？