会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
躺柒
博客园
首页
新随笔
联系
订阅
管理
读千脑智能笔记08_人工智能的未来(下)
人工智能的未来(下)
合集 - 读千脑智能(13)
1.
读千脑智能笔记
01_新皮质
2024-02-02
2.
读千脑智能笔记
02_大脑中的世界模型
2024-02-03
3.
读千脑智能笔记
03_大脑中的地图
2024-02-04
4.
读千脑智能笔记
04_参考系
2024-02-05
5.
读千脑智能笔记
05_千脑智能理论
2024-02-06
6.
读千脑智能笔记
06_人工智能的未来(上)
2024-02-07
7.
读千脑智能笔记
07_人工智能的未来(中)
2024-02-08
8.
读千脑智能笔记
08_人工智能的未来(下)
2024-02-09
9.
读千脑智能笔记
09_大脑的错误信念
2024-02-10
10.
读千脑智能笔记
10_人类智能存在的风险
2024-02-11
11.
读千脑智能笔记
11_保存人类遗产
2024-02-12
12.
读千脑智能笔记
12_阻止人类灭绝
2024-02-13
13.
读千脑智能笔记
13_读后总结与感想兼导读
2024-02-23
1. 机器智能存在的风险
1.1. “人工智能”这个名字应用到几乎所有涉及机器学习的领域
1.2. 技术专家对人工智能的态度也从“人工智能可能永远不会实现”快速转变为“人工智能可能在不久的将来毁灭所有人类”
1.3. 每一项新技术都可能会被滥用,从而造成伤害
1.3.1. 有不足之处的人工智能也被用来跟踪人类、干扰选举、作为夸大宣传手段等
1.3.2. 将武器变得智能和自动化这样的想法是很可怕的
1.3.3. 智能武器可以在没有人类监督的情况下行动,因此它们可以将数以万计的武器部署在不同的地方
1.4. 坏人会试图利用智能机器剥夺他人的自由、威胁他人的生命,但在大多数情况下,一个人利用智能机器做坏事不太可能导致全人类灭绝
1.5. 坏人利用智能机器做坏事是一回事,而如果智能机器本身就是坏人,并决定消灭人类,就是另一回事了
1.6. 人工智能本身存在威胁
1.7. 假设的前提
1.7.1. 我们失去了对自己创造的智能机器的控制
1.7.1.1. 智能机器可能会进行复制,创造出数百万个智能机器副本,或者单个智能机器可能变得无所不能
1.8. 两方面的担忧
1.8.1. 智能爆炸,指的是人类创造了比自身更聪明的机器
1.8.1.1. 让智能机器创造出新的智能机器,从而产生更智能的机器
1.8.1.2. 每一代智能机器问世的时间间隔会越来越短,不久之后,机器的智能就会远远超过我们,这样一来,我们根本无法理解它们在做什么
1.8.1.3. 机器可能就会摆脱我们,因为它们不再需要我们(人类灭绝),或者它们可能决定容忍我们,因为我们对它们有用(人类被征服)
1.8.2. 目标失调,指的是智能机器追求与我们的福祉相反的目标,而我们无法阻止它们
1.8.2.1. 智能机器可能会自发地发展对我们有害的目标,或者,它们可能会追求我们赋予它们的目标,但会以十分残酷的方式实现这些目标,最终消耗地球上所有的资源,在这个过程中,地球不再适合人类居住
1.9. 这些争论似乎都是疯狂的假想,不仅是基于错误的科技概念,而且是基于对智能的错误理解
2. 智能爆炸的威胁
2.1. 智能需要一个世界模型。我们利用世界模型来识别所处的位置,并计划行动
2.2. 当我们想要完成某件事的时候,无论这件事是像冲咖啡一样简单还是像推翻一项法律一样复杂,我们都会利用大脑中的模型决定应该采取怎样的行为来得到期望的结果
2.3. 除了少数例外,学习新思想和新技能需要与世界进行客观上的互动
2.3.1. 无论大脑有多大、思考速度有多快,都不可能仅凭思考就能知道太阳系外行星的分布和组成
2.3.2. 即使是机器,也不可能跳过发现的观察阶段
2.3.2.1. 实践是学习这些感觉-运动关系的唯一方法
2.3.3. 要想学习驾驶直升机,就需要了解你的行为上的微妙变化会对飞行造成哪些微妙的影响
2.3.3.1. 也许机器可通过仿真器进行模拟飞行,理论上,通过这种方法可能比驾驶真正的直升机学得要快,但仍然需要投入时间
2.3.4. 经营一家生产计算机芯片的工厂需要多年的实践
2.3.4.1. 专家已了解了制造过程中可能出错的细节部分以及如何解决这些错误。这种经验是不可替代的
2.4. 智能不是一种可以在软件中编程的东西,也无法确定为一连串规则和事实
2.5. 我们可以赋予智能机器学习世界模型的能力,但它必须学习组成模型的知识,而学习需要时间
2.6. 无论大脑有多大,运行速度有多快,获取新知识和技能都需要时间
2.6.1. 在数学等领域,智能机器可以比人类学得更快
2.6.2. 在大多数领域,学习的速度会受到与世界进行客观互动这一需要的限制
2.7. 机器不可能突然知道得比我们多,智能爆炸的威胁不可能出现
2.8. 超人智能也是不可能实现的,因为我们对世界的了解是不断变化和扩大的
2.9. 发现了一种新的量子通信方式,可以实现超远距离的信息即时传输
2.9.1. 只有发现这一现象的人类才知道它是怎么回事
2.9.2. 如果这一发现以实验结果为基础,没有人能想到它,无论机器多么聪明,同样也无法想到
2.9.3. 除非你认为智能机器已经取代了世界上所有的科学家,以及所有领域的人类专家,否则有些人总是比智能机器更擅长做某些事
2.10. 没有一个人是无所不知的
2.10.1. 这并不是因为没有人足够聪明,而是因为没有一个人可以无处不在、无所不能
2.10.2. 智能机器也是如此
2.11. 全体人类可以完成的事情是如此之多,以至于没有任何机器能在所有领域都超越人类
2.12. 大多数取得成功的人工智能技术都是针对静态任务的,这些问题既不会随时间而改变,也不需要持续学习
2.12.1. 围棋的规则是固定的
2.12.2. 计算器执行的数学运算是不变的
2.12.3. 对图像进行分类的系统也是使用一组固定的标签进行训练和测试的
2.13. 对于这样的静态任务,专用的解决方案不仅可以超越人类,而且可以在无限程度上超越人类
2.14. 世界上的大多数情况都不是固定的,我们需要执行的任务是不断变化的
2.14.1. 没有人或机器能够在任意一项任务上拥有永久的优势,更不用说所有的任务了
2.15. 担心智能爆炸的人把智能描述成一种可以由尚未发现的秘诀创造出来的东西
2.15.1. 一旦这个秘诀为人所知,它就可以得到越来越广泛的应用,从而催生出超级智能机器
2.16. 智能是通过世界上数以千计的小模型创造出来的,每个模型都使用参考系来存储知识并创造行为
2.16.1. 将这种成分添加到机器中并不能立即赋予机器任何功能
2.16.2. 参考系只是为学习提供了一个基础,赋予机器学习世界模型的能力,从而使机器获得知识和技能
2.16.3. 你可以通过旋转厨房灶台上的旋钮来提高温度,但没有一个类似的旋钮来增长机器的知识
3. 目标失调的威胁
3.1. 当智能机器追求的目标对人类有害,而人类无法阻止它时,目标失调这种威胁就会出现
3.2. 智能机器可能也会做一些我们让它做的事,但当我们让它停下来时,它会将停止指令视为完成之前的目标的障碍,从而为了实现之前的目标不惜一切代价
3.3. “要求机器最大限度地生产回形针”是一个常见的目标失调的例子
3.3.1. 一旦机器开始执行这项任务,便没有什么能够阻止它,它要把地球上所有的资源都变成回形针
3.4. 不可能满足的条件
3.4.1. 尽管智能机器接受了我们的第一个请求,但它会忽略后续的请求
3.4.1.1. 如果不满足第二个条件,它也不会成为存在的威胁
3.4.2. 智能机器有能力征用地球上足够多的资源,让人类无法阻止它
3.4.2.1. 智能机器需要控制世界上绝大多数的通信、生产和运输资源
3.4.2.2. 智能机器让人类无法阻止它的一个可能的方法是:胁迫人类
3.4.2.3. 如果一台智能机器控制了互联网的大部分资源,它可能会威胁通过破坏通信和商业来造成混乱
3.4.2.3.1. 除非我们特地赋予智能机器这种能力,否则它们不会发展错位的目标
3.4.2.4. 我们不会让一个人甚至是极小部分人,掌握世界上的所有资源,对机器也是如此
4. 智能机器并不会威胁人类的生存
4.1. 纵观历史,土著居民都有类似的安全感
4.1.1. 当拥有先进武器和技术的外国人出现时,土著居民会被征服和摧
4.1.2. 土著文化的毁灭是由于侵略者有贪婪、追求名利和对统治的渴望等动机,这些动机都是由旧脑驱动的
4.1.3. 真正的罪魁祸首是简单的生物,它们并没有先进的技术,而是在繁殖动机的驱使下造成了土著居民的大量死亡
4.1.4. 智能在大多数种族灭绝事件中并未扮演主要角色
4.2. 复制:任何能够自我复制的东西都是危险的
4.2.1. 智能机器将不具备自我复制的能力和动机,除非人类特地赋予它
4.3. 动机:生物的动机是进化的结果
4.3.1. 一台不复制或进化的机器,不会突然产生控制或奴役别人的欲望
4.4. ·智能:智能是最温和的
4.4.1. 智能机器不会自己开始自我复制,也不会自发地发展动机
4.5. 一些智能机器将比人类更聪明、更高效、更有能力
4.5.1. 智能机器会想接管地球、征服人类,或做任何可能伤害人类的事情吗
4.6. 智能机器不会有和人类一样的情感和动机,除非我们将这样的情感和动机赋予机器
4.6.1. 欲望、目标和攻击性不会神奇地出现在智能机器上
4.7. 自我复制对人类的威胁比机器智能大得多
4.7.1. 更有杀伤力的方法是设计出具有高度传染性的、免疫系统无法防御的新型病毒和细菌
4.8. 关键是任何能够自我复制的东西,尤其是病毒和细菌,都是潜在的生存威胁,而智能本身并不是
4.9. 如果被居心叵测的人使用,智能机器也可能会造成巨大的伤害
4.9.1. 我们的最佳选择似乎是努力就“什么是可接受的,什么是不可接受的”这一问题达成可实施的国际协议,就像我们对待化学武器的方式一样
4.10. 我们不会失去对机器智能的控制,任何事情都不会像智能爆炸的支持者担心的那样迅速发生
4.10.1. 如果我们从现在就开始着手处理,就会有足够的时间来梳理风险和回报,并决定前进的方式
合集:
读千脑智能
好文要顶
关注我
收藏该文
微信分享
躺柒
粉丝 -
50
关注 -
0
+加关注
0
0
升级成为会员
«
上一篇:
读千脑智能笔记07_人工智能的未来(中)
»
下一篇:
读千脑智能笔记09_大脑的错误信念
posted @
2024-02-09 07:20
躺柒
阅读(
48
) 评论(
0
)
编辑
收藏
举报
刷新页面
返回顶部
登录后才能查看或发表评论,立即
登录
或者
逛逛
博客园首页
【推荐】还在用 ECharts 开发大屏?试试这款永久免费的开源 BI 工具!
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
相关博文:
·
读千脑智能笔记07_人工智能的未来(中)
·
读AI新生:破解人机共存密码笔记11智能爆炸
·
《人工智能:线代方法》第一部分 人工智能基础
·
AI-内部原理-一-
·
浅谈人工智能自我繁衍
阅读排行:
·
清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
·
推荐几款开源且免费的 .NET MAUI 组件库
·
实操Deepseek接入个人知识库
·
易语言 —— 开山篇
·
【全网最全教程】使用最强DeepSeekR1+联网的火山引擎,没有生成长度限制,DeepSeek本体
历史上的今天:
2023-02-09
读Java实战(第二版)笔记05_Collection API的增强功能
公告
昵称:
躺柒
园龄:
2年1个月
粉丝:
50
关注:
0
+加关注
<
2025年2月
>
日
一
二
三
四
五
六
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1
2
3
4
5
6
7
8
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
合集
学信息系统项目管理师第4版(35)
学系统集成项目管理工程师(中项)(43)
读高性能MySQL(第4版)(21)
读发布!设计与部署稳定的分布式系统(第2版)(34)
随笔及总结(26)
读改变未来的九大算法(10)
读数据压缩入门(11)
读C#代码整洁之道(8)
读编程与类型系统(12)
读函数式编程思维(6)
读Java8函数式编程(9)
读Java实战(第二版)(20)
读Java性能权威指南(第2版)(31)
读SQL进阶教程(17)
选读SQL经典实例(23)
读SQL学习指南(第3版)(13)
读图数据库实战(11)
读程序员的制胜技(15)
读像火箭科学家一样思考(16)
读程序员的README(19)
读算法霸权(13)
读元宇宙改变一切(14)
读AI3.0(10)
读千脑智能(13)
读十堂极简人工智能课(9)
读人工不智能:计算机如何误解世界(10)
读算法的陷阱:超级平台、算法垄断与场景欺骗(20)
读所罗门的密码(21)
读天才与算法:人脑与AI的数学思维(26)
读人工智能时代与人类未来(19)
读AI未来进行式(12)
读AI新生:破解人机共存密码(18)
读人工智能全传(16)
读写给大家的AI极简史(7)
读零信任网络:在不可信网络中构建安全系统(21)
读软件开发安全之道:概念、设计与实施(17)
读软件设计的要素(7)
读构建可扩展分布式系统:方法与实践(16)
读数据湖仓(9)
读数据工程之道:设计和构建健壮的数据系统(34)
读数据质量管理:数据可靠性与数据质量问题解决之道(20)
读数据保护:工作负载的可恢复性(31)
读量子霸权(18)
读算法简史:从美索不达米亚到人工智能时代(15)
读当我点击时,算法在想什么?(7)
读DAMA数据管理知识体系指南(2)
更多
随笔档案
2025年2月(23)
2025年1月(31)
2024年12月(31)
2024年11月(30)
2024年10月(31)
2024年9月(30)
2024年8月(31)
2024年7月(31)
2024年6月(30)
2024年5月(31)
2024年4月(30)
2024年3月(31)
2024年2月(29)
2024年1月(31)
2023年12月(31)
2023年11月(30)
2023年10月(31)
2023年9月(30)
2023年8月(31)
2023年7月(31)
2023年6月(30)
2023年5月(31)
2023年4月(31)
2023年3月(36)
2023年2月(28)
2023年1月(26)
阅读排行榜
1. C#代码整洁之道读后总结与感想(599)
2. 选读SQL经典实例笔记01_检索和排序(369)
3. 读C#代码整洁之道笔记01_C#的编码标准和原则(311)
4. 读C#代码整洁之道笔记04_重构C#代码识别代码坏味道(309)
5. 学信息系统项目管理师第4版系列02_法律法规(268)
评论排行榜
1. 2023年1月随笔(11)
2. 2023年10月随笔之婚宴趣事多(2)
3. 读高性能MySQL(第4版)笔记12_查询性能优化(下)(2)
4. 读Java性能权威指南(第2版)笔记18_垃圾回收E(2)
推荐排行榜
1. 读高性能MySQL(第4版)笔记01_MySQL架构(上)(2)
2. 选读SQL经典实例笔记01_检索和排序(2)
3. 读软件设计的要素01概念(1)
4. 读AI未来进行式笔记01深度学习(1)
5. 读所罗门的密码笔记01_当人类遇见机器(1)
最新评论
1. Re:2023年10月随笔之婚宴趣事多
@gz4621 wondershare mindmaster...
--躺柒
2. Re:2023年10月随笔之婚宴趣事多
大神 思维导图用的什么软件制作的?
--gz4621
3. Re:读高性能MySQL(第4版)笔记12_查询性能优化(下)
@东围居士 建议读新版。...
--躺柒
4. Re:读高性能MySQL(第4版)笔记12_查询性能优化(下)
第4版相比第3版好像缩减了好多内容?楼主推荐第3版还是第4版
--东围居士
5. Re:读Java性能权威指南(第2版)笔记18_垃圾回收E
@屠炉 没有用第三方工具,手动的。 有几个平台直接支持markdown导入,只是要调整一下图片上传即可。...
--躺柒
点击右上角即可分享
支持DeepSeek的编程助手
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· 【全网最全教程】使用最强DeepSeekR1+联网的火山引擎,没有生成长度限制,DeepSeek本体
2023-02-09 读Java实战(第二版)笔记05_Collection API的增强功能