读AI新生：破解人机共存密码笔记08超级智能

1. 发现动作

1.1. 时间跨度长的智能行为，需要具备在多个抽象层次上分层规划和管理活动的能力，从攻读博士学位（可能涉及1万亿个动作），到给一根手指发送一个运动控制指令，从而键入求职信的字符，无所不包

1.2. 随着时间的推移，未来越来越接近现在，计划变得越来越详细

1.2.1. 新的、模糊的计划可能会添加到遥远的未来之中

1.2.2. 不久之后的未来计划会变得非常具体，可以由运动控制系统直接执行

1.3. 要找到构建抽象动作层次结构的方法

1.3.1. 其他许多人类语言中没有名称的动作，因为我们人类还没有发现它们

1.3.2. 这种能力是达到人类水平的人工智能所需要的最重要的一步

1.3.2.1. 这将增加那些我们无须思考就能完成的重要行动

1.4. 具有这种能力的智能机器将会比人类看得更远

1.4.1. 它们还可以考虑更多的信息

1.4.2. 这两种能力的结合必然会让智能机器做出更好的现实决策

1.5. 在人类与机器之间的一切对抗中，我们都会很快发现，就像加里·卡斯帕罗夫和李世石一样，我们的每一步行动都被机器预料到了，并被阻挠了

1.5.1. 比赛还没开始，我们就输了

2. 管理精神活动

2.1. AlphaGo的计算活动

2.1.1. 该活动简单且同质化

2.1.2. 每个计算单元都是相同的

2.2. 如果一个系统既能发现新的高级动作，又能管理它的计算活动，从而将注意力集中在计算单元上，快速地显著提高决策质量，那么它将成为现实世界中一个强大的决策者

2.3. 像人类一样，它的审议“在认知上是有效的”，但它不会受到短暂的短期记忆和缓慢的“硬件”的影响，人脑的这些局限性严重限制了我们展望未来、处理大量突发事件和考虑大量替代计划的能力

2.4. 从有效地实现其目标的系统角度来看，目前并没有明显的重要内容被遗漏

2.5. 唯一可以确定的方法就是先构建它，然后（在取得了突破之后）看看会发生什么

2.5.1. 它将穿越时间，吸收大量信息，并通过大规模观察和推理来了解世界的状态

3. 超级智能机器

3.1. 该实体需要大量固定的计算资源

3.2. 为超级智能机器的能力提供了一个有用的下限，即一个悲观的估计

3.2.1. 智能系统的这种多智能体合作设计只是机器的可能能力的下限，因为还有其他更好的设计

3.3. 我们创建机器的n个软件副本，并且用与连接n个人相同的方式（使用相同的信息和控制流）来连接它们

3.4. 机器不需要这种分隔，分隔通常会阻碍各个点之间的连接

3.4.1. 作为科学发现互相分隔的一个例子，简单地了解一下青霉素的悠久历史会让人大开眼界

3.5. 人类可以在一周内阅读并理解一本书，而机器可以在几个小时内阅读并理解人类写过的全部1.5亿本书

3.6. 机器的推理能力将使它具有更强的能力来检测科学理论之间、理论与观测之间的不一致

3.6.1. 我们可能已经有了足够的生物学实验证据来设计治疗癌症的方法，只不过我们还没有把它们整合在一起

3.7. 另一种不同的拓展来自机器拥有比人类更准确的展望未来的能力

3.8. 制定防止全球变暖的政策

3.8.1. 地球系统建模需要利用

3.8.1.1. 物理学（大气、海洋

3.8.1.2. 化学（碳循环、土壤）

3.8.1.3. 化学（碳循环、土壤）

3.8.1.4. 生物学（分解、迁移）

3.8.1.5. 工程学（可再生能源、碳捕获）

3.8.1.6. 经济学（工业、能源利用）

3.8.1.7. 人性（愚蠢、贪婪）

3.8.1.8. 政治学（更愚蠢、更贪婪）

3.8.2. 机器将能够获得大量的证据来支持所有这些模型

3.8.3. 它能够建议或进行新的实验和探索，以减少不可避免的不确定性

4. 超级智能的局限

4.1. 一个常见的错误是人们倾向于认为超级人工智能系统拥有无所不知的神圣力量

4.1.1. 不仅拥有现在的，而且拥有未来的完整和完美的知识

4.2. 预测成功与否取决于是否有正确的抽象

4.2.1. 我可以预测“我”将在4月的最后一个星期二在伯克利校园的惠勒礼堂上台演讲

4.2.2. 我无法预测自己精确到毫米的位置，也无法预测那时我的身体中将包含哪些碳原子

4.3. 机器还受到现实世界对新知识获取速度的限制，这是凯文·凯利（Kevin Kelly）在关于超人类人工智能的过度简化预测的文章中提出的有效观点之一

4.4. 虽然在经验科学中，由机器瞬间产生科学发现是不可能的，但我们可以期待，在机器的帮助下，科学的发展速度将会更快

4.5. 机器的最后一个局限在于它们不是人类

4.5.1. 这使它们在试图模拟和预测人类这种特定的对象时存在固有的劣势

4.5.2. 机器对人类的理解几乎是从零开始的

4.5.2.1. 它们只能触及我们的外部行为，以及所有的神经科学和心理学文献，并且必须在此基础上理解我们是如何工作的

4.5.2.2. 原则上，它们将能够做到这一点，但我们有理由认为，它们达到或超越人类的理解水平将比习得其他大多数能力花费更长的时间

5. 如何造福人类

5.1. 我们的智能对我们的文明负责

5.1.1. 有了获得更强大智能的途径，我们便可以拥有一个更伟大的，也许是更好的文明

5.2. 无人驾驶汽车和自动运营的矿山需要在研究、机械设计、软件工程和测试方面投入大量资金，用于开发必要的算法，并确保它们按预期运行

5.3. 通用人工智能是“一切即服务”（Everything-as-a-Service，EaaS）

5.3.1. 通用人工智能的所有化身将会获得人类的所有知识和技能，而且还不只是这样

5.3.2. 唯一的区别在于实体能力

5.3.2.1. 用于造建筑或做手术的四肢灵巧的机器人

5.3.2.2. 用于大规模货物运输的轮式机器人

5.3.2.3. 用于空中检查的四轴飞行器机器人

5.4. 历史已经表明，在没有人工智能的情况下，全球人均GDP增长近10倍是可能的，只是人们最终实现这一增长花了190年（从1820年到2010年）

5.4.1. 这需要工厂、机床、自动化、铁路、钢铁、汽车、飞机、电力、石油和天然气生产、电话、广播、电视、计算机、互联网、卫星和许多其他革命性发明的发展

5.5. 对艺术和智力的追求，无论是个人的还是集体的，都将成为生活中正常的一部分，而不是稀有的奢侈品

5.6. 对人类心理学和神经化学的更深入的了解会广泛改善心理健康

5.7. 人工智能可以为VR（虚拟现实）提供更加高效的创作工具，并且可以用更有趣的实体填充VR环境

5.8. 在日常生活的平凡世界里，一个聪明的助手和向导（如果设计得好，不受经济和政治利益的影响）能够使每个人在一个日益复杂的、有时充满敌意的经济和政治体系中有效地代表自己行事

5.9. 这些发展合在一起可能会改变历史，至少改变由群体内部和群体之间为获得生活必需品而发生的冲突所驱动的那部分历史

5.10. 如果馅饼本质上是无限的，那么你与他人争夺更大的份额就没有意义了

5.10.1. 普通人永远不能期望消费超过普通人的产出

5.10.2. 这就像是为了得到更多的电子版报纸而争吵一样，当任何人都可以免费制作任意数量的数字副本时，争吵就完全没有意义了

5.11. 人工智能可以提供的功能是受限的

5.11.1. 土地和原材料并不是无限的，因此人口不可能无限增长，也不可能每个人都在私人公园里拥有豪宅

5.12. 骄傲也是受限的

5.12.1. 在给定的所有指标中，只有1%的人可以排在前1%

5.12.2. 如果跻身前1%才能感到幸福，那么99%的人就不会幸福，即使那些处在前1%末尾的人也拥有客观上美好的生活方式

5.12.3. 对我们的文化而言，逐渐淡化骄傲和嫉妒是感知自我价值的重要因素，这一点很重要

5.13. 人工智能的成功将催生“一条文明轨迹，实现富有同情心地使用人类被赋予的宇宙资源的文明的进步”

5.13.1. 尼克·波斯特洛姆（Nick Bostrom）的《超级智能》

5.13.2. 如果我们不能充分利用人工智能的优势，那么我们只能怪自己