ADALINE模型

ADALINE模型即自适应线性单元（Adaptive Linear Neuron），主要用于信号处理中的自适应滤波、预测和模式识别。其结构图如下

输入向量X=(x0,x1,x2,...,xn)T每个输入分量可以使数字量或模拟量；权向量W=(w0,w1,w2,...,wn)T该模型有两种输出

(1)当变换函数为线性函数时，输出模拟量，可以作为调节误差的手段，其功能是将期望输出与实际输出相比较，得到一个模拟量的误差信号，以此来调节权值，以保证任何时候始终保持期望输出与实际输出相等(y=d)

y=f(WTX)=WTX

(2)当变换函数为符号函数时，输出为双极性数字量,可以用来线性分类

       y=f(WTX)=sgn(WTX)

ADALINE模型采用LMS即最小二乘法作为学习规则：

由LMS规则有 ΔW=η*(d-WTX)X

当输出为模拟量时，采用单位线性函数作变换函数，故y=WTX

所以，期望输出与实际输出的误差为ε=d-y

由此权向量调整公式可改为 ΔW=η*(d-y)X=η*ε*X，将输入向量X除以其模的平方有

 ΔW=η*ε*X/||X||2

下面以两输入模拟输出的ADALINE型为例:

设输入向量X=(-1,1.2,2.7)T,d=2.3,初始权值为随机数W(0)=(-1,0.5,1.1)T,η=0.6,则，

y(0)=W(0)TX=(-1,0.5,1.1)T(-1,1.2,2.7)=4.57

ε(0)=d-y(0)=2.3-4.57=-2.27

第一次调整权值计算:

ΔW(0)=η*ε(0)*X/||X||2=0.6*(-2.27)*(-1,1.2,2.7)T/(-1,1.2,2.7)(-1,1.2,2.7)T=(0.14,-0.168,-0.378)T

   W(1)=W(0)+ΔW(0)=(-1,0.5,1.1)T+(0.14,-0.168,-0.378)T=(-0.86,0.332,0.722)T

y(1)=W(1)TX=(-0.86,0.332,0.722)T(-1,1.2,2.7)=3.21

ε(1)=d-y(1)=2.3-3.21=-0.91

第二次调整权值计算:

ΔW(1)=η*ε(1)*X/||X||2=0.6*(-0.91)*(-1,1.2,2.7)T/(-1,1.2,2.7)(-1,1.2,2.7)T=(0.056,-0.0672,-0.151)T

   W(2)=W(1)+ΔW(1)=(-0.86,0.332,0.722)T+(0.056,-0.0672,-0.151)T=(-0.804,0.265,0.571)T

重复上面的步骤直至实际输出逼近d即可。

ADALINE模型 主要用于语音识别、心电图诊断、信号处理以及系统辨识等方面