读AI3.0笔记02_起源

1. 起源

1.1. 1955年，28岁的麦卡锡进入了达特茅斯学院的数学系

1.2. 该领域的正式确立可以追溯到1956年由一位名叫约翰·麦卡锡的年轻数学家在达特茅斯学院举办的一场小型研讨会

1.2.1. 在1956年，即便是最先进的计算机，其速度也达不到现代智能手机的百万分之一

1.3. 20世纪60年代初，麦卡锡创立了斯坦福人工智能项目（Stanford Artificial Intelligence Project）

1.3.1. 目标是：“在10年内打造一台完全智能的机器。”

1.3.2. “人工智能”一词就是麦卡锡发明的，他希望将这一领域与一项名为“控制论”的研究区分开来

1.4. 大概在同一时间，后来的诺贝尔奖得主西蒙预测：“用不了20年，机器就能够完成人类所能做的任何工作。”

1.5. 不久之后，麻省理工学院人工智能实验室（MIT AI Lab）的创始人明斯基就预言：“在一代人之内，关于创造‘人工智能’的问题将得到实质性的解决。”

1.6. 人工智能的四大创始人

1.6.1. 明斯基在麻省理工学院

1.6.2. 麦卡锡在斯坦福大学

1.6.3. 西蒙与艾伦·纽厄尔（Allen Newell）在卡内基梅隆大学

1.6.4. 这三所大学至今仍然位于研究人工智能最负盛名的机构之列

1.7. 第一阶段，新想法在研究领域得到了大量的支持。相关研究人员承诺人工智能即将取得突破性的成果，并被新闻媒体各种炒作。政府资助部门和风险投资者向学术研究界和商业初创公司注入大量资金

1.8. 第二阶段，曾经承诺的人工智能突破没有如期实现，或者远没有当初承诺的那么令人满意。政府资助和风险资本枯竭，初创公司倒闭，人工智能研究放缓。

1.9. 这一现象以5～10年为周期在不断上演

2. 智能

2.1. “智能”（intelligence）仍然没有明晰的定义

2.1.1. 缺乏一个精确的、得到普遍接受的人工智能的定义，可能有助于该领域更快地成长、繁荣和进步

2.1.2. 自然语言处理（natural-language processing,NLP）、神经网络、机器学习、抽象概念和推理、创造力等，这些主题至今仍定义着人工智能这一领域

2.2. “手提箱式词汇”（suitcase word）

2.2.1. 明斯基创造

2.2.2. 类似“智能”及其引申词，如“思想”（thinking）、“认知”（cognition）、“意识”（consciousness）、“情感”（emotion）这样的词语

2.2.3. 每个词语就像是打包封装了不同含义的手提箱

2.2.4. 人工智能就经过了“打包”，在不同的上下文中承担不同的含义

2.3. 大多数人会认同人类是智能的，而尘埃颗粒不是

2.3.1. 我们普遍认为人类比虫子更加智能

2.4. 对于人类智能，智商（IQ）是在单一尺度上衡量的

2.4.1. 智能的不同维度，如情感、语言、空间、逻辑、艺术、社交等

2.4.2. 人工智能领域在很大程度上忽略了这些各式各样的区别

2.5. 人工智能聚焦于两方面的工作

2.5.1. 科学性工作

2.5.1.1. 人工智能研究者通过将“自然的”即生物学上的智能机制嵌入计算机的方式来研究它

2.5.2. 实践性工作

2.5.2.1. 人工智能研究者单纯地希望创造出像人类一样，甚至可以比人类更好地执行任务的计算机程序，并不担心这些程序是否真的在以人类的思维方式进行思考

2.6. 人工智能领域的很多从业者会开玩笑地说，这取决于他们目前的资助是来自哪一方

2.7. 不同研究方法的支持者之间的争论一直持续到了今天

2.7.1. 每一种方法都形成了自己的一套原则和相关技术

2.7.2. 通过在各自领域的专业会议和期刊上传播得以巩固

2.7.3. 有待深入研究的领域之间却几乎没有交流

2.8. 2010年以后主流的人工智能研究范式，那就是深度学习，其工具就是深度神经网络（deep neural network，DNN）

2.8.1. 深度学习本身是机器学习领域众多研究方法中的一种

2.8.2. 机器学习是人工智能的一个子领域，着重关注机器从数据或自身的“经验”中进行学习

2.9. 小孩子做起来都很容易的事情，对人工智能来说却是比诊断复杂疾病、在国际象棋和围棋中击败人类冠军，以及解决复杂代数问题等更加难以实现的事情

2.9.1. 人工智能比我们认为的要难。

2.9.1.1. 麦卡锡

2.9.2. 看似容易的事情其实都很难。

2.9.2.1. 明斯基

3. 符号人工智能

3.1. 符号人工智能最初是受到数学逻辑以及人们描述自身意识思考过程的方式的启发

3.1.1. 力图用数学逻辑解决通用问题

3.1.2. 一个符号人工智能程序里的知识包括对人类来说通常可以理解的单词或短语（即“符号”），以及可供程序对这些符号进行组合和处理以执行指定任务的规则

3.2. 通用问题求解器

3.2.1. 英文简称为“GPS”

3.2.2. 出现早于全球定位系统（global positioning system, GPS）

3.2.3. 通用问题求解器可以解答诸如“传教士和食人者”之类的智力游戏题，但这些题目你可能在孩童时期就已经知道如何解决了

3.3. 符号人工智能的支持者认为，想要在计算机上获得智能，并不需要构建模仿大脑运行的程序

3.3.1. 通用智能完全可以通过正确的符号处理程序来获得

3.4. 由通用问题求解器所阐释的这类符号人工智能，在人工智能领域发展的最初30年里占据了主导地位，其中以专家系统最为著名

3.4.1. 人类专家为计算机程序设计用于医疗诊断和法律决策等任务的规则

3.4.2. 人工智能领域有几个活跃的分支到现在仍在采用符号人工智能

4. 亚符号人工智能

4.1. 亚符号人工智能方法则从神经科学中汲取灵感，并试图捕捉隐藏在所谓的“快速感知”背后的一些无意识的思考过程

4.1.1. 如识别人脸或识别语音等

4.1.2. 不包含传教士和食人者的例子中看到的那种人类可理解的语言

4.2. 一个亚符号人工智能程序本质上是一堆等式

4.2.1. 通常是一大堆难以理解的数字运算

4.3. 支持者认为若要实现人工智能，类似语言的符号和控制符号处理的规则，不能像在通用问题求解器中那样直接进行编程，而必须以类似于智能符号处理从大脑中涌现的方式，从类似于神经元的结构中涌现出来

4.4. 亚符号、受大脑启发的人工智能程序的一个早期例子是感知机

4.4.1. 心理学家弗兰克·罗森布拉特于20世纪50年代末提出

4.4.1.1. 1971年，年仅43岁的罗森布拉特丧生于一次划船事故

4.4.2. 罗森布拉特发明感知机是受到人脑中神经元处理信息的方式的启发

4.4.2.1. 一个神经元就是大脑中的一个细胞，它能够接收与之相连的其他神经元的电或化学输入信号

4.4.2.2. 一个神经元把它从其他神经元接收到的所有输入信号加起来，如果达到某个特定的阈值水平，它就会被激活

4.4.2.3. 信息在神经元中的处理过程可以通过一个有多个输入和一个输出的计算机程序（感知机）进行模拟

4.4.3. 神经科学家认为，弄明白神经元之间的连接强度是如何调整的，是了解大脑如何学习的关键

4.4.3.1. 图

4.4.4. 罗森布拉特提出可以应用感知机网络来执行视觉任务，例如人脸和物体识别

4.5. 感知机是人工智能的一个重要里程碑

4.5.1. 催生了现代人工智能最成功的工具——DNN

4.5.2. 感知机中没有任何对其需要执行的任务进行描述的明确规则

4.5.3. 感知机中的所有“知识”都被编码在由数字组成的权重和阈值中

4.5.4. 感知机应该通过自己的学习获得这些数值

4.5.4.1. 感知机应该通过条件计算（conditioning）来学习

4.5.4.2. 在触发正确的行为时奖励，而在犯错时惩罚

4.5.4.2.1. 监督学习（supervised learning）

4.5.5. 如果感知机给出的答案是正确的，则权重和阈值不会发生变化

4.5.6. 如果感知机是错误的，其权重和阈值就会发生变化，以使感知机在这个训练样本上给出的答案更接近于正确答案

4.5.7. 每个权重的变化量取决于与其相关的输入值

4.5.7.1. 对错误的“罪责”的分配取决于哪个输入的影响更大或更小

4.5.7.2. 感知机的权重和阈值不代表特定的概念，这些数字也很难被转换成人类可以理解的规则

4.5.7.2.1. 这一情况在当下具有上百万个权重的神经网络中变得更加复杂

4.5.8. 通过大量试验循序渐进地学习，其效果更好，如果在一次试验中，权重和阈值的改动过大，系统就可能以学到错误的东西告终

4.5.9. 对于一个特定（即便非常有限）的任务类别，原则上只要感知机经过充分的训练，就能学会准确无误地执行这些任务

4.5.9.1. 至于感知机在更一般的人工智能相关任务中会如何表现，我们尚不清楚

4.5.10. 局限性

4.5.10.1. 明斯基和佩珀特对简单感知机的局限性的证明已广为该领域的人们所熟知

4.5.10.1.1. 感知机能够完美解决的问题类型非常有限，因为感知机学习算法随着任务规模的扩大需要大量的权重和阈值，所以表现不佳

4.5.10.1.2. 如果一个感知机通过添加一个额外的模拟神经元“层”来增强能力，那么原则上，感知机能够解决的问题类型就广泛得多

4.5.10.1.2.1. 带有这样一个附加层的感知机叫作多层神经网络

4.5.10.2. 罗森布拉特本人对多层感知机做了大量的研究工作，并意识到了训练多层感知机的困难

4.5.10.2.1. 研究者放弃对感知机的进一步研究，其主要原因并不是明斯基和佩珀特的数学证明，而是他们对多层神经网络的推测

4.5.10.3. 它的线性特征、有趣的学习定理，以及它作为一种并行计算而具有的明显的范式简洁性，但没有理由认为其中任何一个优点可以延展到多层神经网络

4.6. 监督学习（supervised learning）

4.6.1. 现代人工智能的一个关键部分

4.6.2. 通常需要大量的正样本和负样本

4.6.3. 用于训练系统的正负样本，被称为“训练集”（training set）

4.6.4. 剩余的样本集合，也就是“测试集”（test set）

4.6.4.1. 用于评估系统在接受训练后的表现性能，以观察系统在一般情况下，而不仅仅是在训练样本上回答的正确率