读AI新生：破解人机共存密码笔记07概念和理论

1. 全球层面的智能

1.1. 仅仅为了阅读完当前世界上所有的出版物（更不用说过去所有的书面材料）就需要20万名全职人员，收听当前的广播则还需要6万名全职人员

1.1.1. 监听世界上所有的电话也是可能的（这项工作需要大约2000万人）

1.2. 这样一个系统，如果它能提取简单的事实性陈述，并能跨所有语言整合所有这些信息，那么它就会成为令人难以置信的回答问题和揭示模式的资源，可能比目前价值约1万亿美元的搜索引擎还强大得多

1.2.1. 它对历史学和社会学等领域的研究价值将是不可估量的

1.3. 机器可以利用的另一种“超级力量”是瞬间看到整个世界

1.3.1. 卫星每天以每像素约50厘米的平均分辨率拍摄整个世界

1.3.2. 计算机视觉算法可以处理所有这些数据，生成一个每天更新的可搜索的全球数据库，还能生成经济活动、植被变化、动物迁徙和人口流动、气候变化影响等的可视化和可预测模型

1.3.3. 像Planet（星球）和DigitalGlobe（数字地球）这样的卫星公司正忙着把这一想法变成现实

1.4. 随着全球层面的感知成为可能，全球层面的决策也在成为可能

1.4.1. “智慧城市”控制系统

1.4.1.1. 它旨在优化交通管理、运输、垃圾收集、道路维修、环境保护和其他造福市民的功能，这些可能会拓展到国家层面

1.5. 随之而来的可能是全球范围内的隐私侵犯和社会控制

2. 超级人工智能何时到来

2.1. 历史上预测出错的情况经常出现

2.2. 超级人工智能将要跨越的门槛并不明确

2.2.1. 机器在某些领域已经超越了人类的能力

2.3. 超级人工智能何时到来在本质上是不可预测的

2.3.1. 卢瑟福宣布链式核反应完全不可能的几个小时后，西拉德就发明了链式核反应一样不可预测

2.4. 大多数活跃的研究人员预计人类水平的人工智能将在21世纪中叶到来

2.5. 现在和超级人工智能之间还隔着好几个重大突破，而不仅仅是一个

2.5.1. 解决这一问题不能靠把钱花在更多的工程师、更多的数据和更强大的计算机上

2.6. 一些未来学家根据摩尔定律绘制图表，预测了未来计算能力的指数级增长，展示出机器将超越昆虫大脑、老鼠大脑、人类大脑，以及所有人类大脑的日期等

2.6.1. 速度更快的机器只会更快地给出错误的答案

2.7. 如果将人工智能领域的领先专家聚集到一个拥有无限资源的团队中，目标是通过整合我们所有最好的想法来创建一个集成的、人类级别的智能系统，那么结果必将是失败

2.7.1. 这个系统会在现实世界中崩溃

2.7.2. 它不明白发生了什么，无法预测其行为的后果，无法理解人们在任意特定情况下想要什么，因此它会做蠢事

3. 语言和常识

3.1. 没有知识的智能就像没有燃料的发动机

3.1.1. 人类从他人那里获得了大量的知识，知识以语言的形式代代相传

3.2. 大量的知识存在于语言本身，存在于它所提供的概念之中

3.3. 一台真正理解人类语言的机器将能够迅速获取大量的人类知识，从而绕过在地球上生活过的1000多亿人在几万年之中的学习过程

3.3.1. 期待一台机器从原始的感官数据开始，从头开始重新发现这一切似乎是不切实际的

3.3.2. 自然语言技术还不能胜任阅读和理解数百万本书的任务，其中许多书甚至会难倒一个受过良好教育的人

3.4. 阅读需要知识，而知识（在很大程度上）来自阅读

3.5. 希望采用自助算法让系统读取一些简单的文本，获得一些知识，然后使用这些知识来读取更复杂的文本，获得更多的知识等

3.5.1. 发生的情况通常恰恰相反：系统所获得的知识大多是错误的，这会导致阅读错误，从而导致更多的错误知识等

3.6. NELL

3.6.1. Never-Ending Language Learning，无止境语言学习

3.6.2. 卡内基–梅隆大学的“NELL”项目可能是目前正在进行的最雄心勃勃的采用自助算法的语言项目

3.6.3. NELL仅对其3%的知识点有信心，它还要依靠人类专家定期清除错误或无意义的知识点

3.6.3.1. 它认为“尼泊尔是一个国家，也被称为美国”和“价值是一种农产品，通常被分割成基础”

3.7. 单一的突破不可能将恶性循环变成良性循环

3.8. 一个知道足够多事实的程序可以找出一个新句子所指的事实，从而学习一种新的表达事实的文本形式，然后让它发现更多事实，因此这个过程会继续下去

4. 概念和理论的累积学习

4.1. 成千上万的人在数百年的观察和研究中积累和交流了知识与概念

4.2. 从米利都的泰勒斯用羊毛摩擦琥珀并观察静电荷的积累，到伽利略从比萨斜塔投下小球，再到牛顿看到苹果从树上落下，经过成千上万次的观察，人类逐渐积累了一层又一层的概念、理论和装置

4.2.1. 质量

4.2.2. 速度

4.2.3. 速度

4.2.4. 力

4.2.5. 牛顿运动定律和万有引力定律

4.2.6. 轨迹方程

4.2.7. 电现象

4.2.8. 原子

4.2.9. 电子

4.2.10. 电场

4.2.11. 磁场

4.2.12. 电磁波

4.2.13. 狭义相对论

4.2.14. 广义相对论

4.2.15. 量子力学

4.2.16. 半导体

4.2.17. 激光

4.2.18. 计算机

4.3. 物理学的先验知识，加上仪器的观测数据，使得科学家能够推断黑洞融合事件的发生

4.3.1. 这种先验知识本身就是用先验知识进行学习的结果，以此类推，一直可以追溯到遥远的历史

4.4. 累积下来的图景就是实际发生的事情，也就是说，科学家一直在书和论文中写下他们的发现和理论

4.4.1. 后来的科学家只能接触这些形式的显性知识，而无法接触更早的、早已过世的几代人的原始感官体验

4.5. 深度学习系统主要是数据驱动的，我们充其量只能在网络结构中“连接”一些非常弱的先验知识形式

4.6. 纯数据驱动的学习观

4.6.1. 输入的是数据，输出的是假设，中间是黑盒子

4.6.2. 如果人们能够做到这一点，那将是“大数据、大网络”深度学习方法的典范，但这是不可能做到的

4.7. 概率编程系统的确允许在学习过程中加入先验知识，正如概率知识库的结构和词汇表所表达的那样，但我们还没有有效的方法来生成新的概念和关系，并使用它们来拓展这类知识库

4.8. 主智能体进行学习所需要的

4.8.1. 进行预测所需要的“数据”应该包括什么？

4.8.1.1. 因为我们人类已经对引力波、交通、视觉图像和古董有所了解

4.8.1.2. 所谓的“特征工程”，要做好这一点，我们需要对特定的预测问题有很好的理解

4.8.1.3. 真正的智能机器需要学习新知识时，不能依赖于每次都有人类特征工程师

4.8.1.4. 它必须自己找出，是什么构成了这个问题的合理假设空间

4.8.2. 新概念的累积生成

4.8.2.1. 如质量、加速度、电荷、电子和引力等

4.8.2.2. 事实上，一切科学发现都依赖于一层又一层的概念，这些概念可以追溯至历史和人类经验

4.8.2.3. 在科学哲学中，特别是在20世纪初，新概念的发现经常归因于三个妙不可言的“I”

4.8.2.3.1. 直觉（intuition）

4.8.2.3.2. 洞察力（insight）

4.8.2.3.3. 灵感（inspiration）

4.8.2.3.4. 所有这些都被认为是对一切理性或算法解释的抵触

4.8.2.4. 如果机器学习算法能够在假设空间中进行搜索，可以为输入中不存在的新术语添加定义，那么该算法就可以发现新概念

4.8.2.5. 我们知道如何在相对简单的情况下做到这一点，但是对更复杂的理论而言，引入的新概念的数量可能变得非常庞大

4.8.2.6. 即使深度网络使用的是非常简单的学习算法，深度网络通常能够成功地找到有用的中间特征

4.8.2.6.1. 比如眼睛、腿、条纹和拐角