神经网络学习笔记

神经网络的应用

模式分类： 需要提供训练样本，并且标注每条数据是何种模式。

聚类：不需要提供训练样本，算法会自动将数据分成不同的类别，但是需要用户设定类的数目。

回归和拟合：保证相似的输入在神经网络的映射下有相近的输出。

还有优化计算、数据压缩等等。

 

神经网络的分类

根据层数分为单层网络和多层网络。前者主要包括单层感知器、线性网络。

根据数据流的特点可分为前向网络和反馈网络，后者存在输出到输入的反馈，而前者则没有。

前向神经网络：BP、径向基网络、自组织网络等。

反馈网络：Hopefiled、Elman等。

 

神经网路的学习方式

调整神经网络各个节点权值的过程就是其学习的过程，学习的方式分为两类：有监督学习方式和无监督学习方式。前者需要提供教师信号，比如模式分类，后者不知道数据应该输出什么，比如聚类分析。

学习的方式：

Hebb：这是一种比较古老的学习方式，每次权值调整的幅度和前一神经元输出、后一神经元输出的乘积成正比。

纠正学习规则：这种方式比较常用，每次权值调整的幅度和偏差值成正比。

随机学习规则：Boltzmann机其实就是模拟退火算法。

竞争学习规则：每次只有竞争胜出的神经元能够进行权值调整，其他的神经元权值保持不变，体现了神经元之间的侧向抑制。