神经网络学习之----神经网络发展史

启蒙时期（1890-1969）

　　1890年，心理学家William James出版了第一部详细论述人脑结构及功能的专著《心理学原理》，他认为一个神经细胞受到刺激激活后可以把刺激传播到另一个神经细胞，并且神经细胞激活是细胞所有输入叠加的结果。

　　1943年，神经病学家和神经元解剖学家McCulloch和数学家Pitts在生物物理学期刊发表文章提出神经元的数学描述和结构。并且证明了只要有足够的简单神经元，在这些神经元互相连接并同步运行的情况下，可以模拟任何计算函数（M-P模型）。他们所做的开创性的工作被认为是人工神经网络(ANN)的起点。

　　1949年，生理学家Hebb出版了《行为组织学》，描述了神经元权值的Hebb调整规则。他指出在神经网络中，信息存储在连接权值中。并提出假设神经元A到神经元B的连接权与从B到A的连接权是相同的。

　　1958年，计算机学家Rosenblatt提出了一种具有三层网络特性的神经网络结构，称为“感知器”。

　　1969年，人工智能的创始人之一的Minsky和Papert出版了一本名为《感知器》的书，书中指出简单神经网络只能运用于线性问题的求解，能够求解非线性问题的网络应具有隐层，而从理论上还不能证明将感知器模型扩展到多层网络是有意义的。

低潮时期（1969-1982）

　　Grossberg夫妇提出了自适应共振机理论和三个ART系统。

　　Konhonen教授提出了自组织映射（SOM）理论。

　　福岛邦彦的新认知机。 

复兴时期（1982-1986）

　　1982年，美国加州理工学院的优秀物理学家Hopfield提出了Hopfield神经网络。Hopfield神经网络引用了物理力学的分析方法，把网络作为一种动态系统并研究这种网络动态系统的稳定性。

　　1985年， Hinton和Sejnowski借助统计物理学的概念和方法提出了一种随机神经网络模型——玻尔兹曼机。一年后他们又改进了模型，提出了受限玻尔兹曼机。

　　1986年， Rumelhart， Hinton， Williams发展了BP算法。（多层感知器的误差反向传播算法）

新时期（1986年至今）

　　1987年6月，首届国际神经网络学术会议在美国加州圣地亚哥召开，到会代表有1600余人。之后国际神经网络学会和国际电气工程师与电子工程师学会（IEEE）联合召开每年一次的国际学术会议。