第一次作业
1. 介绍
深度学习是机器学习中一个新兴的研究方向，也是一个复杂的机器学习算法。深度学习的概念源于人工神经网络的研究，建立模拟人脑进行分析学习的神经网络，以模仿人脑的机制来解释数据，强调模型结构的深度和明确特征学习的重要性。因此，深度学习使计算机实现模仿视听和思考等人类的活动，解决了大量复杂的模式识别难题，从而推动计算机视觉、智能语音等复杂AI基础技术的落地。可以说，深度学习算法决定了未来AI的发展趋势，乃是兵家必争之地。
2. 发展
随着深度学习技术在智能驾驶、智慧金融、智能制造、智慧农业、智慧医疗、智能家居等领域的逐步应用，作为引领这一轮科技革命和产业变革的战略性技术，人工智能的产业化已经取得了显著的效果，显示出带动性很强的“头雁”效应。中国、美国、英国、德国、法国、日本等主要国家都纷纷将人工智能上升为国家级战略，积极抢占人工智能竞争的制高点。我国还进一步强调要加强人工智能领域前沿技术布局，支持科学家勇闯人工智能科技前沿的“无人区”。
经历了60多年的发展之后，人工智能已经开始走出实验室，进入到了产业化阶段。具体表现出以下几个方面的特点：
- 深度学习技术逐渐在各领域开始应用
深度学习通过构建多隐层模型和海量训练数据，来学习更有用的特征，最终提升分析准确性。深度学习能够通过数据挖掘进行海量数据处理，自动学习数据特征，尤其适用于包含少量未标识数据的大数据集；采用层次网络结构进行逐层特征变换，将样本的特征表示变换到一个新的特征空间，从而使分类或预测更加容易。因此，深度学习自2006年由Jeffery Hinton实证以来，在云计算、大数据和芯片等的支持下，已经成功地从实验室中走出来，开始进入到了商业应用，并在机器视觉、自然语言处理、机器翻译、路径规划等领域取得了令人瞩目的成绩。
- 新型算法不断探索
在深度学习应用逐步深入的同时，学术界也在继续探索新的算法。一方面，继续深度学习算法的深化和改善研究，如深度强化学习、对抗式生成网络、深度森林、图网络、迁移学习等，以进一步提高深度学习的效率和准确率。另一方面，一些传统的机器学习算法重新受到重视，如贝叶斯网络、知识图谱等。另外，还有一些新的类脑智能算法提出来，将脑科学与思维科学的一些新的成果结合到神经网络算法之中，形成不同于深度学习的神经网络技术路线，如胶囊网络等。
- 基础数据集建设已经成为基本共识
自从李飞飞等在2009年成功创建ImageNet数据集以来，该数据集就已经成为了业界图形图像深度学习算法的基础数据集，通过举办比赛等方式极大地促进了算法的进步，使得算法分类精度已经达到了95%以上。这也使得一些大型研究机构和企业逐渐认识到了数据的价值，纷纷开始建立自己的数据集，以便进行数据挖掘和提升深度学习模型的准确率。如美国国家标准研究院的Mugshot、谷歌的SVHN、微软的MS COCO等图像基础数据集，斯坦福大学的SQuAD、卡耐基梅隆大学的Q/A Dataset、Salesforce的WikiText等自然语言数据集以及2000 HUB5 English、CHiME、TED-LIUM等语音数据集。
- 新型计算基础设施陆续成为产业界发展目标
由于深度学习对算力有较高的需求，因此相继出现了一些专门的计算框架和平台，如伯克利大学的Caffe、微软的CNTK、Facebook的Torch、亚马逊的MXNet、百度的 PaddlePaddle等，尤其是谷歌的TensorFlow能够支持异构设备的分布式计算，其平台API能力已经覆盖了CNN、RNN、LSTM等当前最流行的深度神经网络模型。除了从计算框架软件平台进行研发之外，产业界同时也从硬件方面探索计算能力的提升方法。最为直接的方法就是采用计算能力更强的GPU替代原有的CPU等。此外，谷歌、IBM等一些大型企业在大量采用GPU的同时，也在探索进行符合自身计算环境的芯片研发，从而进一步降低成本、提高效率，因此产生了TPU等性能更加卓越的新型芯片。
3. 发展面临的挑战
虽然人工智能技术发展已经取得了前所未有的成绩，但随着深度学习技术应用的不断深化和产业化步伐的逐步加快，人工智能技术发展也面临着不少挑战。
- 主流技术深度学习还具有较大局限性
一是在有限样本和计算单元的情况下，对复杂函数的表示能力有限，其针对复杂分类问题的泛化能力受限。二是通过深度学习是一种基于概率统计的算法，机器系统学习到的是大概率内容，不是知识，无法像人类一样进行举一反三的应用。三是深度学习存在黑箱问题，不能解释其自身做出决策的原因。
- 基础数据积累还远远不能满足模型训练需要
由于大数据技术的出现和使用时间还不长，各类基础数据不论从数量上还是从质量上来看，都尚需要较长时间的积累。一方面，某些关键领域和学术数据集还严重不足。另一方面，已有规模化的基础数据集不仅数据质量良莠不齐，而且基本上由少数几家巨头或政府所掌握，鉴于监管和竞争等因素，无法实现有效流动。基础数据的缺乏，使得深度学习模型训练也造成了样本基础缺失。
- 计算框架和通用智能芯片尚未形成定局
虽然已经出现了TensorFlow、Caffe、CNTK、Torch、MXNet、PaddlePaddle等深度学习计算框架，但由于深度学习应用场景众多，相关应用呈现碎片化特点，无论从功能还是性能角度来讲，用于实现最后应用落地的开源计算框架与实际需求之间都还存在着相当的距离，满足产业发展需求且具有绝对统治地位的开源计算框架也还没有出现。同时，深度学习芯片还只是刚刚起步，而且还基本上属于专有领域的芯片，通用智能芯片的产业化还需要较长时间的探索。
- 人机和谐共处的有效途径开始艰难探索
由于黑箱问题及其基于概率统计的特点，基于深度学习的智能系统存在产生不可控结果的隐患。我们已经看到，使用了人工智能技术的智能驾驶汽车出现了多次的事故，甚至造成了人员的伤亡。另外，使用了智能算法的自动驾驶飞机也出现了多次坠机事故。这些事故不仅造成了人们的生命和财产损失，也严重打击了人们对人工智能的信心。实际上，这些事故的发生除了有技术方面的原因之外，还涉及到AI伦理的问题，也就是如何保证人类与智能系统之间的和谐共处、协同合作等问题。目前来看，AI的伦理问题还需要较长的探索过程。
4. 发展趋势
短期来看，人工智能技术的发展将围绕对上述问题的解决进行。下面从算法理论、数据集基础、基础设施、人机协同等以下几个方面进行探讨。
- 算法理论
在算法理论层面，将继续按照深度学习完善和新算法的两条主线发展。首先，深度学习在提升可靠性、可解释性等方面的研究以及零数据学习、无监督学习、迁移学习等模型的研究将成为热点方向，这不仅仅是深度学习算法本身发展的需要，也是产业发展的需要。其次，学术界将继续开展新型算法的探索，包括对传统机器学习算法的改进、传统机器学习算法与深度学习的结合以及与深度学习迥异的新型算法等。
- 数据集基础
在数据集基础方面，学术界与产业界将共同合作构建语音、图像、视频等通用数据集以及各行业的专业数据集，使得各类数据集能够快速满足相关需求。一方面，随着对人工智能认识的不断加深，将会有越来越多的企业和政府机构开展数据自建和数据标注等工作。另一方面，随着深度学习的发展，将会出现智能化的数据标注系统来帮助和替代人类进行数据标注等工作。再有，在政府引导和支持下，一些开放的标准化数据集将会陆续出现，为整个行业提供标准化训练数据集。
- 计算平台与芯片
在计算平台与芯片方面，大型企业自研计算框架、自建计算平台，甚至是自研芯片等，仍将是普遍现象。这主要是由于以下两个方面的原因。一是企业出于自身数据和业务安全的考虑，对使用其他机构提供的训练平台仍然持有不信任的态度；二是每个企业的数据中心和相关平台都有其自身的特点，自研计算框架、自建计算平台和自研芯片能够更好地满足自身的业务发展需要。
- 人机协同机制
在人机协同机制方面，“人在回路”将成为智能系统设计的必备能力。目前，机器智能并没有实现人们所希望的“以人为中心”，仍然还是以机器为中心，这也是人类屡受智能系统伤害的主要原因之一。因此，将人类认知模型引入到机器智能中，使之能够在推理、决策、记忆等方面达到类人智能水平，将成为学术界和产业界共同追求的目标，并可能在一定的时间内取得较好的阶段性成果。
5. 发展展望
长期来看，人工智能技术将分别沿着算法和算力两条主线向前发展，并逐步带领人类进入到人机协同的新时代。
- 高度关注类脑智能算法
深度学习是基于冯·诺依曼体系结构发展起来的。由于受到内存墙等相关方面的制约，难以达到较高的计算效率。为此，近些年来IBM等已经开始进行颠覆冯·诺依曼体系结构的类脑智能算法与技术的探索。类脑智能借鉴大脑中“内存与计算单元合一”等信息处理的基本规律，在硬件实现与软件算法等多个层面，对于现有的计算体系与系统做出本质的变革，并实现在计算能耗、计算能力与计算效率等诸多方面的大幅改进。目前，随机兴奋神经元、扩散型忆阻器等已经在IBM、马萨诸塞州阿姆赫斯特大学、清华大学等机构研制成功，IBM已经研制成功TrueNorth芯片，清华大学团队也成功研制出了基于忆阻器的PUF芯片。
- 智能部署从中心向边缘和终端扩散
随着智能装备和智能机器人等智能终端的逐渐增多，智能终端的快速反应以及相互之间的协同行动需求将会越来越迫切，对智能服务的实时性将会越来越强烈。这就要求智能服务从云端向网络边缘甚至终端扩散，智能模型与算法需要部署在网络边缘或终端之上，就近提供网络、计算、存储、应用等核心能力，从而满足通信、业务、安全等各方面的关键需求。目前，英伟达、高通等都已经陆续开展了用于边缘网络或终端的AI专用芯片。而随着5G网络的普遍部署，边缘智能将会获得快速的发展。
- 深度学习通用平台和通用AI芯片将会出现
随着人工智能应用在生产生活中的不断深入融合，智能终端的互联互通将会成为必然。由于跨框架体系开发及部署需要投入大量资源，因此尽管每个终端的智能模型可能不同，但深度学习计算框架的模型底层表示将会逐渐趋同，形成深度学习通用计算框架和平台。随着计算框架的整合，GPU和TPU等芯片将可能会被通用AI芯片所替代。
- 量子计算推动形成新一轮计算革命
不论现在还是将来，人工智能无疑都将是最为消耗计算资源的业务和应用之一，计算效率也将是智能体永恒的追求目标。量子计算具有强大的计算能力和效率，已经成为全球公认的下一代计算技术。IBM已经在近期推出了世界上第一个商用的通用近似量子计算系统里程碑产品IBM Q System One，客户可以通过互联网使用这台量子计算机进行大规模的数据计算，为人工智能计算展示了良好的前景。
人工智能已经逐渐向工业、农业、交通、医疗、金融等各个领域渗透，并开始形成新的业态，成为了新一轮技术革命的制高点。因此，必须积极主动把握人工智能技术和产业发展机遇，认清技术发展趋势，在类脑智能、边缘智能、通用平台与芯片、量子计算等前沿技术领域加快布局，勇闯人工智能科技前沿的“无人区”，才能抓住人工智能时代发展的主动权。
