第一次作业

机器学习等人工智能领域的前沿技术介绍、展望、应用

自然语言处理处理中预训练模型PTMs

  随着深度学习的发展，各种神经网络被广泛用于解决自然语言处理(NLP)任务，如卷积神经网络(convolutional neural networks, CNNs)[75,80,45]、递归神经网络(neural networks, RNNs)[160, 100]、基于图的神经网络(graphbased neural network, GNNs)[146, 161, 111]和注意力机制[6,171]等。这些神经模型的优点之一是能够缓解特征工程问题。非神经NLP方法通常严重依赖于离散的手工特征，而神经方法通常使用低维和稠密的向量(又称分布式表示)隐式地表示语言的语法或语义特征。这些表示是在特定的NLP任务中学习的。因此，神经方法使人们可以很容易地开发各种NLP系统。尽管神经模型在NLP任务中取得了成功，但与计算机视觉(CV)领域相比，性能改进可能不那么显著。主要原因是，当前用于大多数监督的NLP任务的数据集相当小(机器翻译除外)。深度神经网络通常具有大量的参数，使其对这些小的训练数据过度拟合，在实际应用中泛化效果不佳。因此，许多NLP任务的早期神经模型相对较浅，通常只包含1 ~ 3个神经层。
  最近大量的研究表明，在大型语料库上的预训练模型(PTMs)可以学习通用语言表示，这对后续的NLP任务是有益的，可以避免从零开始训练新模型。随着计算能力的发展，深层模型(即随着训练技能的不断提高，PTMs的体系结构由浅向深推进。第一代PTM的目标是学习好的词嵌入。由于下游任务不再需要这些模型本身，它们在计算效率方面通常非常肤浅，如Skip-Gram[116]和GloVe[120]。虽然这些预训练的嵌入可以捕获单词的语义含义，但它们是上下文无关的，不能捕获文本的高级概念，如语法结构、语义角色、回指等。第二代PTMs主要学习上下文词嵌入，如CoVe[113]、ELMo[122]、OpenAI GPT[130]、BERT[32]等。这些学习过的编码器仍然需要在上下文中通过下游任务来表示单词。此外，还提出了各种预训练的任务，以学习PTMs的不同目的。

人机对抗

  作为人工智能研究的前沿方向, 人机对抗技术一直是国内外人工智能研究的热点, 以人机对抗为主要形式的人工智能研究为探寻机器智能的内在生长机制和关键技术原理提供了一个极佳的试验环境和验证途径. 基于人类现有的知识和智能水平, 通过研究和实现新型的智能学习算法, 使得机器智能在可控的范围内不断接近、达到甚至超过人类的智能水平. 整个过程不仅能够让机器更加智能地为人类服务、将人类从一些繁复复杂的任务中解脱出来, 而且人类也能够借鉴机器智能的发展过程, 提升自身的智能水平, 更深刻地理解和掌握智能的内在本质和产生机理, 进而推动整个社会由信息化向智能化发展人机对抗研究计算机博弈中机器战胜人类的方法, 其更一般性的含义是指在强对抗博弈环境下, 以人机对抗为主要形式研究机器智能战胜人类智能的内在机理和技术原理, 它是智能领域研究的核心方向, 通过人机和环境之间的交互学习, 探索巨复杂、高动态和不确定的强对抗环境下机器智能快速增长的内在机理和途径, 以期最终达到或者超过人类的智能水平. 在人机对抗研究体系中, 人机对抗是促使机器智能快速增长的主要方式, 在人机对抗过程中, 人和机器之间相互借鉴学习. 根据不同的应用, 人机对抗技术又可以表现为人机协同、人机融合, 以至达到最终的人机共生. 人机对抗的能力增强表现为首先从特定领域战胜单个人, 再到战胜群体, 最后在该领域超越整个人类群体的智能水平。
  人机对抗智能的科学问题可概括为博弈学习的可建模、可计算与可解释. 具体来说, 可建模是指博弈过程可以基于数学模型进行抽象或者表征学习, 它贯穿于人机对抗的整个过程. 以 AlphaGo 智能程序为例, 围棋博弈被建模为完全信息静态博弈, 并使用蒙特卡洛 (Monte Carlo) 树搜索进行博弈求解,而 Libratus 智能程序中, 德州扑克博弈被建模为不完全信息动态博弈, 并使用反事实后悔值最小化方法进行博弈求解. 可计算是指博弈行为模型可以进行计算与学习, 并能在此基础上进行大幅优化, 它为人机对抗策略生成及使用提供了保障. 以 Libratus 程序为例, 最初版本在与人对抗时需要使用匹兹堡 (Pittsburgh) 超级计算机进行计算, 而后改进版本 Modicum 利用深度有限求解方法优化其计算性能, 实现了在普通笔记本上就可以与人进行博弈. 可解释是指博弈行为的计算结果可以解释, 它为博弈过程中第三方的介入提供了足够可以理解的信息. 目前以深度学习为代表的人工智能模型可解释性较差, 已有不少研究尝试从特征可视化、 损失界面分析等不同角度对深度学习模型进行分析, 而可解释性对以认知决策为重点的人机对抗技术更为关键, 其研究为进一步的人机混合智能提供了基础保障.

我们国家人工智能领域的先进和不足

  从科研产出和人才投入层面来看，我国人工智能领域已经处于国际领先地位，特别是在论文、专利和人才方面发展迅速。在人工智能领域的论文发表方面，我国发表论文在全世界中的占比在 2017 年达到 27. 68% ，这一指标相较 1997 年提升了 6 倍，论文总量排名世界第一，而高被引论文数量自 2013 年后也超越美国成为世界第一。在人工智能领域的专利产出方面，我国专利申请量近年来增长迅速，2017 年超过 12000 件，排名世界第一，但授权专利比例低于美国，同时在人工智能领域主要专利权人的全球分布中，排名前 10 的企业我国仅国家电网一家入选。在人工智能领域的人才方面， 根据清华大学发布的 《 中国人工智能发展报告 2018》 ，截至 2017 年中国人工智能人才达到 18232 人，在全世界仅次于美国，占世界人工智能人才总量比重达到 8.9% ，但在按高 H 因子衡量的杰出人才层面，中国仅排名全世界第六，占全世界人工智能杰出人才比重为 5.4% ，这反映出我国在人工智能的高层次人才投入方面还存在短板。
  从产业发展层面来看，近年来我国人工智能已成为最大市场规模国家，在人工智能产业应用领域处于国际前列。我国已成为全球人工智能投融资规模和市场规模最大的国家，根据 iMedia Re—search( 艾媒咨询) 发布的 《 2018 中国人工智能产业研究报告— — —商业应用篇》 显示，2018 年中国人工智能领域融资额高达 1 311 亿元，同比增长 677 亿元，增长率为 107% 。而从人工智能产业市场规模来看，我国 2017 年人工智能市场规模达到 237.4 亿元，同比 2016 年增长 67% 。同时，根据 《新一代人工智能发展规划》 的战略目标来看，2020 年我国人工智能核心产业规模将超过 1500 亿元，带动相关产业规模超过 1 万亿元，这意味着我国人工智能产业还有很大的发展空间。从人工智能企业数量来看，截至2018 年 6 月，全球人工智能企业总数达 4925 家，而我国人工智能企业为 1011 家，排名世界第二，但离排名第一的美国还有较大差距。从企业所属技术领域来看，我国人工智能企业在图像识别、语音识别、智能家居等应用领域处于国际前列，但基础硬件发展仍有不足，需要发展。

存在卡脖子技术

  比如在自动驾驶方面，作为外部路况探测的传感器，其收集的信息将作为驾驶决策的输入，是驾驶决策的重要保障。可以说，没有完整的信息，就不可能支持决策系统做出正确、安全的驾驶决定。虽然众多的传感器在单一指标上可以超越人眼，但是融合的难题以及随之而来的成本困境，成为自动驾驶演进过程中面临的重大考验。