神经网络学习
人工神经网络的功能特性由其连接的拓扑结构、突触连接强度（连接权值）决定。全体连接权值用矩阵W表示，它反映了网络对于所解决问题的知识存储。神经网络能通过对样本的学习训练，不断改变网络的连接权值，甚至拓扑结构，以使网络的输出不断地接近期望的输出，这一过程成为神经网络的训练或学习。神经网络改变权值的规则称为学习规则。神经网络的学习分为三类：有监督学习、无监督学习和灌输学习。
无监督学习
学习过程中，不断地内部按特定的学习规则，发现网络提供的动态输入信息流中的任何可能存在的模式和规则，同时根据网络的功能和输入调整权值，这个过程是自组织的，其结果是使网络能对属于同一类的模式进行自动分类。
有监督学习
提供给网络学习的外部指导信息越多，网络学会并掌握的知识越多，解决问题的能力也越强。
灌输式学习
将网络设计成能记忆特别的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来，其权值不是通过训练得来的，而是通过某种设计方法得到的。
学习规则
神经网络的运行一般分为训练和工作两个阶段。训练的目的是从训练数据中提取隐含的知识和规律，并存储在网络中供工作阶段使用。
日本的Amari于1990年提出了一种神经网络权值调整的通用学习规则，该规则的图解表示如下图。
神经元j的阈值Tj=w0j，对应的输入分量x0恒为-1，其中，r(Wj,X,dj)表示学习信号，该信号为Wj,X的函数，而在有监督学习中，也是期望输出dj的函数，t时刻的权值调整量规则可表示为ΔWj=η*r[Wj(t),X(t),dj(t)]X(t)。η为学习速率，Wj(t+1)=Wj(t)+η*r[Wj(t),X(t),dj(t)]X(t)，η为学习速率。
常见的学习规则
(1)Hebb学习规则
1949年D.O.Hebb认为当神经元i与神经元j同时处于兴奋状态时，两者之间的连接强度应加强，处于抑制状态时应减弱。根据此假设定义的学习规则称为Hebb学习规则。
学习信号r=f(WjTX),即学习信号简单的等于神经元输出，
权向量的调整量公式为ΔWj=η*f(WjTX)*X,
每个分量的调整量公式为Δwij=η*f(WjTX)*xi=η*oj*xi，i=1,2,3,...,n。
该规则要求权值初始化，即Wj(0)初始化为0附近的随机数，还需设置权的饱和值，以防止权值无约束增长。Hebb规则是一种纯前馈的无监督学习规则。
(2)离散感知器学习规则
1958年Frank Rosenblatt 定义了一个具有单层计算单元的神经网络结构-------感知器，其学习规则规定，
学习信号为神经元的期望输出与实际输出之差，即r=dj-oj，dj为期望输出，oj=f(WjTX)，感知器采用符号函数为变换函数
f(WjTX)=sgn(WjTX)
权值调整公式为ΔWj=η*[dj-sgn(WjTX)]X,
分量调整公式为Δwij=η*[dj-sgn(WjTX)]xi，i=1,2,3,...,n。
当实际输出与期望输出相同时，权值不需要调整，该规则是一种有监督的学习规则。
(3)连续感知器学习规则
1986年McClellan和Rumelhart在神经网络的训练中引入δ规则，该规则规定
学习信号r=[dj-f(WjTX)]f'(WjTX)=[dj-oj]f'(netj) 显然规则要求变换函数可导，故只适用于有监督学习中定义的连续变换函数，如sigmod函数。
事实上，该规则可由输出值和期望值的最小平方误差条件推导出来。定义输出值和期望值的平方误差如下
E=(dj-oj)2/2=[dj-f(WjTX)]2/2
由上可知，E是Wj的函数，当E最小时，Wj应与误差的负梯度成正比，即 ΔWj=-η*ΔE，而ΔE为E对Wj的偏导，即ΔE=-(dj-oj)f'(WjTX)X ，故ΔWj=η*(dj-oj)f'(netj)X=η*δ*X，
各分量的调整公式Δwij=η*(dj-oj)f'(netj)*xi，i=1,2,3,...,n。
δ规则的权值可以初始化为任意值。
(4)最小均方学习规则
1962年Bernard Widrow和Marcian Hoff提出了Widrow—Hoff学习规则，因为它能使实际输出与期望输出的平方差最小，故又称LMS最小均方规则。
学习信号 r=dj-WjTX
权向量调整为ΔWj=η*(dj-WjTX)*X
各分量Δwij=η*(dj-WjTX)*xi，i=1,2,3,...,n。
(5)相关学习规则
学习信号 r=dj
权向量调整为ΔWj=η*dj*X
各分量Δwij=η*dj*xi，i=1,2,3,...,n。
该规则是有监督学习规则，要求权值初始化为0
