机器学习周志华——机器学习的发展

（1）向机器学习的过渡

20世纪50-70年代，人工智能处于“推理期”，赋予机器逻辑推理能力，代表工作：A.Newell和H.Simon的“逻辑理论家”(Logic Theorist)程序以及此后的“通用问题求解”(General Problem Solving)程序等，A.Newell和H.Simon获图灵奖。

20世纪50-70年代中期开始，在E.A.Feigenbaum等的倡导下，人工智能研究进入了“知识期”，大量专家系统问世。E.A.Feigenbaum等作为“知识工程”之父获图录奖。

知识工程遇到瓶颈(总结知识再教给计算机相当困难)=>设法让机器自己能够学习知识。

（2）机器学习发展

图灵在1950年图灵测试文章中，提到机器学习的可能性；

20世纪50年代已有机器学习研究，如A.Samuel的跳棋程序；

20世纪50年代中后期，基于神经网络的“连接主义”学习，代表作F.Rosenblatt的感知机(Perceptron)、B.Widrow的Adaline等。

20世纪60-70年代，基于逻辑表示的“符号主义”学习技术蓬勃发展，代表作P.Winston的“结构学习系统”、R.S.Michalski等的“基于逻辑的归纳学习系统”、E.B.Hunt等人的“概念学习系统”等；

以决策理论为基础的学习技术以及强化学习技术等也得到发展，代表作N.JNison的“学习机器”等；

20年后红极一时的统计学习理论在这个时期取得一些奠基成果。

1986年，机器学习Machine Learning创刊；

1989年，人工智能权威期刊Artificial Intelligence出版机器学习专辑；

20世纪80年代机器学习成为一个独立学科领域、各种机器学习技术百花初绽；

20世纪80年代以来，被研究最多、应用最广的是“从样例中学习”（即广义的归纳学习），涵盖监督学习、无监督学习等：20世纪80年代，此类学习的一大主流是符号主义学习，其代表包括决策树(以信息熵最小化为目标，模拟人的概念判断)、基于逻辑的学习(著名代表归纳逻辑程序设计ILP)。由于在“推理期”、“知识期”中符号知识的重要性，在“学习期”的开始，符号知识表示自然受到青睐。决策树技术简单易用，至今仍是最常用机器学习技术之一，ILP知识表示能力极强，通过它可利用领域知识辅助学习，还可通过学习对领域知识精华和增强，但学习能力太强，也直接导致假设空间太大复杂度极高，问题规模稍大就难以有效学习，20世纪90年代后期开始陷入低潮。“从样例中学习”的另一主流技术是基于神经网络的连接主义学习，连接主义学习在20世纪50年代虽在大的发展，但当时学者推崇符号表示。1983年，J.J.Hopfield利用神经网络求解著名的NP难题“流动推销员问题”，取得大进展，使连接主要重新受到关注。1986年，D.E.Rumelhart重新发明了著名的BP算法，与符号主义学习能产生明确的概念表示不同，连接主义学习产生的是“黑箱”模型，但因有BP这样有效的算法，使得它可以在很多现实问题上发挥作用，事实上BP一直是应用得最广泛的机器学习算法之一。学习过程涉及大量参数，参数设置缺乏理论指导，主要靠手工“调参”，参数调节失之毫厘，学习结果谬以千里。

20世纪90年代，“统计学习”迅速火热起来成为主流，代表技术支持向机SVM、更一般的“核方法”(统计机器学习的研究自60年代已开始，如V.N.Vapnik在1963年提出“支持向量”概念，他和Chervonenkis于1968年提出VC维，于1974年提出风险最小化原则等，直至90年代中期统计学习开始成为主流，原因之一正是连接主义学习技术局限之后，人们才把目光转向以统计学习理论为支撑的统计学习，原因之二有效的支持向量机算法在90年代初才被提出，优越性能到90年代中期在文本分类应用才得以显现)。

事实上，统计学习与连接主义学习关系密切，支持向量机被普遍接受后，核技巧(kernel trick)广泛应用到机器学习各处，核方法逐渐成为机器学习基本内容之一。

20世纪初，连接主义卷土重来，掀起“深度学习”热潮，狭义上它就是“很多层”的神经网络，深度学习虽缺乏严格的理论基础，但它显著降低了机器学习应用者的门槛，为其走向工程实践带来便利。火热起来的原因：数据大了、计算能力强了，才使得连接主义学习技术焕发又一春。类似的，神经网络在20世纪80年代中期走红，与当时处理器、内存技术广泛应用导致算力显著提升有极大关联。