学习陆汝铃老师一篇序言有感
本文是在学习周志华老师的《机器学习》序言后有感而作。这篇序言笔者已经看了好几遍了，每看一遍都有一些新的认识。序言中对机器学习有一个脉络清晰的认识，六个问题中的每一个都值得我好好研究。不知道其他人如何评价这个序言，反正对于现在的笔者非常受用。本文是笔者照着西瓜书敲出来的，后面附有笔者的理解和思考，如有版权冒犯，请联系笔者删除。
**************************************************************************************************************************
序 言
在人工智能界有一种说法，认为机器学习是人工智能领域中最能够体现智能的一个分支。从历史看来，机器学习似乎也是人工智能中发展最快的分支之一。在二十世纪八十年代的时候，符号学习可能还是机器学习的主流，而自从二十世纪九十年代以来，就一直是统计学习的天下了。不知道是否可以这样认为：从主流为符号机器学习发展到主流为统计机器学习，反映了机器学习从纯粹的理论研究和模型研究发展到以解决现实生活中实际问题为目的的应用研究，这是科学研究的一种进步，有关机器学习的专著国内出版的不是很多。前两年有李航教授的《统计学习方法》出版，以简要的方式介绍了一批重要和常用的机器学习方法。此次周志华教授的鸿篇巨著《机器学习》则全年而详细地介绍了机器学习的各个分支，既可作为教材，又可作为自学用书和科研参考书。
翻阅书稿的过程引起了一些自己的思考，平时由于和机器学习界的朋友接触多了，经常获得一些道听途说的信息以及专家们对机器学习现状及其发展前途的评论。在此过程中，难免会产生一些自己的疑问。我借此机会把它写下来放在这里，算是一种“外行求教机器学习”。
问题一：在人工智能发展早期，机器学习的技术内涵几乎全部是符号学习。可是从二十世纪九十年代开始，统计机器学习犹如一匹黑马横空出世，迅速压倒并取代了符号学习的地位。人们可能会问：在满目的统计学习期刊和会议文章面前，符号学习是否被彻底忽略了？它还能成为机器学习的研究对象吗？它是否将继续在统计学习的阴影里生活并苟延残喘？对这个问题有三种可能的答案：一是告诉符号学习:"你就是该退出历史舞台，认命吧！" 二是告诉统计学习：“你的一言堂应该关门了！”单纯的统计学习已经走到了尽头，再想往前走就要把统计学习和符号学习结合起来。三是事物发展总会有“三十年河东，三十年河西”的现象，符号学习还有“翻身”的日子。第一种观点我没有听人名说过，但是我想恐怕有可能已经被许多人默认了。第二种观点我曾听王珏教授多次说过。他并不认为统计学习会衰退，而只是认为机器学习已经到了一个转折点，从今往后，统计学习应该和知识的利用相结合，这是一种“螺旋式上升，进入更高级的形式”，否则，统计学习可能会停留于现状而止步不前。王珏教授还认为：进入转折点的标志就是Koller等的《概率图模型》一书的出版。至于第三种观点，恰好我收到老朋友，美国人工智能资深学者、俄亥俄大学Chandrasekaran教授的来信，他正好谈起符号智能被统计智能"打压"的现象，并且正好表达了河东河西的观点。我请求他允许我把这段话引进正在撰写的序言中，他爽快地同意了，仅仅修改了几处私人通信的口吻。全文如下：“最近几年，人工智能在很大程度上集中于统计学和大数据。我同意由于计算能力的大幅提高，这些技术曾经取得过某些令人印象深刻的成果。但是我们完全有理由相信，虽然这些技术还会继续改进、提高，总有一天这个领域（指AI）会对它们说再见，并转向更加基本的认知科学研究。尽管钟摆的摆回去还需要一段时间，我相信定有必要把统计技术和对认知结构的深刻理解结合起来。” 看来，Chandrasekaran教授也并不认为若干年以后AI真会回到河西，他的意见和王珏教授的意见基本一致，但不仅限于机器学习，而是涉及整个人工智能领域。只是王珏教授强调知识，而Chandrasekaran教授强调更加基本的“认知”。
问题二：王珏教授认为统计机器学习不会“一路顺风”的判断是：统计机器学习算法都是基于样本数据独立同分布的假设。但是自然界现象千变万化，王珏教授认为：“哪有那么多独立同分布?” 这样就引来了下一个问题：“独立同分布”条件对于机器学习来讲真是必需的吗？独立同分布的不存在一定是一个不可逾越的障碍吗？无独立同分布条件下的机器学习也许只是一个难题，而不是不可解问题。我有一个“胡思乱想”，认为前些时候出现的“迁移学习”也许会对这个问题的解决带来一线曙光。尽管现在的迁移学习还要求迁移双方具备“独立同分布”条件，但是不同分布之间的迁移学习，同分布和异分布之间的迁移学习也许迟早会出现？
问题三：近年来出现了一些新的动向，例如“深度学习”、“无终止学习”等等，社会上给予了特别关注，尤其是深度学习。但他们真的代表了机器学习的新的方向吗？包括本书作者周志华教授在内的一些学者认为：深度学习掀起的热潮也许大过它本身真正的贡献，在理论和技术上并没有太多的创新，只不过是由于硬件技术的革命，计算机的速度大大提高了，使得人们有可能采用原来复杂度很高的算法，从而得到比过去更精细的结果。当然这对于推动机器学习应用于实践有很大意义。但我们不禁要斗胆问一句：深度学习是否又要取代统计学习了？事实上，确有专家已经感受到来自深度学习的压力，指出统计学习正在被深度学习所打压，正如我们早就看到的符号学习被统计学习所打压。不过我觉得这种打压还远没有强到像统计学习打压符号学习的程度。这一是因为深度学习的“理论创新”还不明显；二是因为目前的深度学习主要适合于神经网络，在各种机器学习方法百花盛开的今天，它的应用范围还有限，还不能直接说是连接主义方法的回归；三是因为统计学习仍然在机器学习中被有效地普遍采用，“得道多助”，想抛弃它并不容易。
问题四：机器学习研究出现以来，我们看到的主要是从符号方法到统计方法的演变，用到的数学主要是概率统计。但是数学之大，就像大海。难道只有统计方法适合于在机器学习方面应用吗？当然，我们也看到了一些其他数学分支在机器学习上的应用的好例子，例如微分几何在流形学习上的应用，微分方程在归纳学习上的应用。但如果和统计方法相比，它们都只能算是配角。还有的数学分支如代数可能应用得更广，但在机器学习中代数一般是作为基础工具来使用，例如矩阵理论和特征值理论。又如微分方程求解最终往往归结为代数问题求解。它们可以算是幕后英雄：“出头露面的是概率和统计，埋头苦干的是代数和逻辑”。是否可以想象以数学方法为主角，以统计方法为配角的机器学习理论呢？在这方面，流形学习已经“有点意思"了，而彭实戈院士的倒排随机微分方程理论之预测金融走势，也许是用高深数学推动新的机器学习模式的更好例子。但是从宏观角度看，数学理论的介入程度还远远不够。这里指的主要是深刻的、现代的数学理论，我们期待着有更多数学家的参与，开辟机器学习的新模式、新理论、新方向。
问题五：上一个问题的延续：符号机器学习时代主要以离散方法处理问题，统计机器学习时代主要以连续方法处理问题，这两种方法之间应该没有一条鸿沟。流形学习中李群、李代数方法的引入给我们以很好的启示。从微分流形到李群，再从李群到李代数，就是一个沟通连续和离散的过程。然而，现有的方法在数学上并不完美。浏览流形学习的文献可知，许多论文直接把任意数据集看成微分流形，从而就认定测地线的存在并讨论起降维来了。这样的例子也许不是个别的，足可说明数学家介入机器学习研究之必要。
问题六：大数据时代的出现，有没有给机器学习带来本质性的影响？理论上讲，似乎”大数据“给统计机器学习提供了更多的机遇，因为海量的数据更加需要统计、抽样的方法。业界人士估计，大数据的出现将使人工智能的作用更加突出。有人把大数据处理分成三个阶段：收集、分析和预测。收集和分析的工作相对来说已经做得相当好了，现在关注的焦点是要有科学的预测，机器学习技术在这里不可或缺。这一点大概毋庸置疑。然而，同样是使用统计、抽样方法，同样是收集、分析和预测，大数据时代使用这类方法和以前使用这类方法有什么本质的不同吗？量变到质变是辩证法的一个普遍规律。那么从前大数据时代到大数据时代，数理统计方法有没有发生本质的变化？反映到它们在机器学习上的应用有无本质变化？大数据时代正在呼唤什么样的机器学习方法的产生？哪些机器学习方法又是由于大数据的驱动而产生的呢?
以上这些话也许说的远了，我们还是回到本书上来。本书的作者周志华教授在机器学习的许多领域都有出色的贡献，是中国机器学习研究的领军人物之一，在国际学术界有着很高的声誉。他在机器学习的一些重要领域，例如集成学习、半监督学习、多实例和多标记学习等方面都做出了在国际上有重要影响的工作，其中一些可以认为是中国学者在国际上的代表性贡献。除了自身的学术研究以外，他在推动中国的机器学习发展方面也做了许多工作。例如他和不久前刚过世的王珏教授从2002年开始，组织了系列化的”机器学习及其应用“研讨会。初在复旦，后移至南大举行，参会者从数十人发展到数百人，活动搞得有声有色，如火如荼。最近更是把研讨会推向全国高校轮流举行。他和王珏教授紧密合作，南北呼应，人称”南周北王“。王珏教授的离去使我们深感悲伤。令我们欣慰的是国内不但有周志华教授这样的机器学习领军人物，而且比周教授更年轻的许多机器学习青年才俊也成长起来了。中国的机器学习大有希望。
陆汝铃
中国科学院数学与系统科学研究院
2015年8月于北京
************************************************************************************************
在序言中，提到机器学习的三个主要方法，符号主义方法，连接主义方法和统计方法，这几个方法具体的定义序言中没有指明，我从网络上找了一下相关的资料，没有权威的说法。对比之下，贴出比较靠谱的说法如下：
2. 参考链接：https://en.wikipedia.org/wiki/Symbolic_artificial_intelligence
3.每个问题几乎都引出了至少一个值得研究的问题。看了问题一，买了Koller等的《概率图模型》一书，等学完西瓜书学一下，不过《概率图模型》真的好厚啊！！！
