人工神经网络(Artificial Neural Netwroks)笔记-离散单输出感知器算法

最近在重新学习人工神经网络(Artificial Neural Netwroks)，做做笔记，整理思路

离散单输出感知器算法，传说中的MP

二值网络：自变量及其函数的值、向量分量的值只取0和1函数、向量

权向量：W=(w1,w2,w3.....wn)
输入向量：X=(x1,x2,x3.....xn)

训练样本集
{(X,Y)|Y为输入向量X的输出}

训练过程比较简单
如下：

1，初始化权向量W
2，重复下列过程，直到训练完成：
     2.1对每个样本（X，Y），重复如下过程：
            2.1.1输入X
            2.1.2计算 O=F(XW)
            2.1.3如果输出不正确，则改变权重
                     当O=1时，W=W-X
                     当O=0时，W=W+X


比较有意思的是 权重向量的调整
一开始的时候比较难想明白，但是如果只是求一个近似解的话，那么一切都很简单了。值只是一个不断逼近的变化过程。
还有一点初始化权重的时候都是随机的，因此这个调整权重的过程也更随意了

之前一直想着支持向量机(SVM)的事情，因此对于这样一种权重的调整过程有点犯困。
SVM是全局最优，ANN是局部最优，因此ANN权重调整的过程更简单了。