数学之路(3)-机器学习(3)-机器学习算法-神经网络[3]
(5)LMS最小均方差
Python的LMS算法部分为：
以逻辑或为例，下面是x和w初始权值
x = np.array([[1,1,1],[1,1,0],[1,0,1],[1,0,0]]) d =np.array([1,1,1,0]) w=np.array([b,0,0])
下面是LMS算法部分
#expect_e是期望误差率
#mycount为最大尝试次数
mycount=0
while True:
mye=0
i=0
for xn in x:
w,e=neww(w,d[i],xn,a)
i+=1
mye+=abs(e)
mycount+=1
print "第 %d 次调整后的权值："%mycount
print w
print "误差：%f"%mye
if abs(mye)<expect_e or mycount>maxtrycount:break
#以下是验证部分
for xn in x:
print "%d and %d => %d "%(xn[1],xn[2],get_v(w,xn))
本博客所有内容是原创，未经书面许可，严禁任何形式的转载
http://blog.csdn.net/u010255642
执行结果为：
>>>
第 1 次调整后的权值：
[ 0.9 0. 0. ]
误差：1.000000
第 2 次调整后的权值：
[ 0.8 0. 0. ]
误差：1.000000
第 3 次调整后的权值：
[ 0.7 0. 0. ]
误差：1.000000
第 4 次调整后的权值：
[ 0.6 0. 0. ]
误差：1.000000
第 5 次调整后的权值：
[ 0.5 0. 0. ]
误差：1.000000
第 6 次调整后的权值：
[ 0.4 0. 0. ]
误差：1.000000
第 7 次调整后的权值：
[ 0.3 0. 0. ]
误差：1.000000
第 8 次调整后的权值：
[ 0.2 0. 0. ]
误差：1.000000
第 9 次调整后的权值：
[ 0.1 0. 0. ]
误差：1.000000
第 10 次调整后的权值：
[ 1.38777878e-16 0.00000000e+00 0.00000000e+00]
误差：1.000000
第 11 次调整后的权值：
[-0.1 0. 0. ]
误差：1.000000
第 12 次调整后的权值：
[-0.1 0.1 0.1]
误差：2.000000
第 13 次调整后的权值：
[-0.1 0.1 0.1]
误差：0.000000
1 and 1 => 1
1 and 0 => 1
0 and 1 => 1
0 and 0 => 0
>>>
我们换一个分类
输入矩阵中x向量的整除结果为6为一类，为3是另一类
x = np.array([[1,1,6],[1,2,12],[1,3,9],[1,8,24]]) d =np.array([1,1,-1,-1]) w=np.array([b,0,0])
分类效果不错
第 1 次调整后的权值：
[ 0.8 -0.6 -1.8]
误差：2.000000
第 2 次调整后的权值：
[ 1.00000000e+00 -6.00000000e-01 4.44089210e-16]
误差：6.000000
第 3 次调整后的权值：
[ 0.8 -2.4 -4.2]
误差：6.000000
第 4 次调整后的权值：
[ 1.2 -1.8 -0.6]
误差：4.000000
第 5 次调整后的权值：
[ 1.2 -2.2 -1.2]
误差：4.000000
第 6 次调整后的权值：
[ 1.4 -2.2 0.6]
误差：6.000000
第 7 次调整后的权值：
[ 1.2 -2.8 -1.2]
误差：2.000000
第 8 次调整后的权值：
[ 1.4 -2.8 0.6]
误差：6.000000
第 9 次调整后的权值：
[ 1.4 -2.8 0.6]
误差：0.000000
1 and 6 => 1
2 and 12 => 1
3 and 9 => -1
8 and 24 => -1
9 and 27 => -1
11 and 66 => 1
