神经网络发展史

从计算机发明之除开始，人们就希望它能帮助甚至代替人类完成重复性工作。但是有些问题，比如图像识别、语音识别、自然语言处理等等需要计算机像人一样具备一定智能（也就是人工智能）。受人大脑结构启发，ANN模型（人工神经网络）于1943年首次提出。感知机的发明使得人工神经网络成为真正从数据中“学习”的模型。感知机无法解决线性不可分的问题，由于网络结构（没有隐含层）过于简单，也无法解决异或问题。人工神经网络需要计算量巨大，而计算力跟不上，深层神经网络被认为是不可能实现的，人工神经网络的研究进入第一个寒冬。直到20世纪80年代，反向传播算法被提出，大大降低了神经网络训练需要的时间，深层神经网络（DNN）的提出解决了线性不可分的问题。人工神经网络进入第二个快速发展期。不过这一时期，以支持向量机为主的传统机器学习算法也在飞速发展。在90年代中期，在很多机器学习任务上，传统机器学习算法超越人工神经网络的精确度，使得人工神经网络再进入寒冬。直到2012年前后，随着云计算以及大数据发展，人工神经网络以“深度学习”的名字再次进入大家视野。短短几年，深度学习在很多研究领域突破了传统机器学习的瓶颈，推动了人工智能的发展。