神经网络基本的一些概念

一、激活函数：

1.硬极限函数：用于分类

2.线性函数：用于函数逼近

3.饱和线性函数：分类

4.Sigmoidal函数：S函数，是连续可微的，权值可用BP算法调节

5.高斯函数

二。学习规则：

1.Hebb规则

2.离散感知器学习规则

3.δ学习规则

4.Widrow—Hoff学习规则

三、神经网络的拓扑结构

1.前向神经网络：有向无环图的神经网络，没有反馈！除了输入层以外，隐层和输出层神经元都有一定的计算，因此成为计算节点。

两层感应器网络

多层感应器网络：所有的计算节点都为硬极限函数，则该网络为多层离散感应器。所以计算节点都为S函数，即所谓的BP网络。此时，网络权值和阈值可用误差反向传播学习算法（BP算法）学习！

BP算法的输出节点的激活函数根据应用的不同而异。如果用于分类，则输出层节点一般用S函数或者硬极限函数。如果用于函数逼近，则输出节点应该用线性函数。

径向基（RBF）神经网络：一个输入层、一个隐层、一个输出层。隐层基函数去距离函数，激活函数用高斯函数！

2.反馈神经网络：有环路！最著名的为Hopfield神经网络！