神经网络学习笔记
神经网络的应用
模式分类: 需要提供训练样本,并且标注每条数据是何种模式。
聚类:不需要提供训练样本,算法会自动将数据分成不同的类别,但是需要用户设定类的数目。
回归和拟合:保证相似的输入在神经网络的映射下有相近的输出。
还有优化计算、数据压缩等等。
神经网络的分类
根据层数分为单层网络和多层网络。前者主要包括单层感知器、线性网络。
根据数据流的特点可分为前向网络和反馈网络,后者存在输出到输入的反馈,而前者则没有。
前向神经网络:BP、径向基网络、自组织网络等。
反馈网络:Hopefiled、Elman等。
神经网路的学习方式
调整神经网络各个节点权值的过程就是其学习的过程,学习的方式分为两类:有监督学习方式和无监督学习方式。前者需要提供教师信号,比如模式分类,后者不知道数据应该输出什么,比如聚类分析。
学习的方式:
Hebb:这是一种比较古老的学习方式,每次权值调整的幅度和前一神经元输出、后一神经元输出的乘积成正比。
纠正学习规则:这种方式比较常用,每次权值调整的幅度和偏差值成正比。
随机学习规则:Boltzmann机其实就是模拟退火算法。
竞争学习规则:每次只有竞争胜出的神经元能够进行权值调整,其他的神经元权值保持不变,体现了神经元之间的侧向抑制。