我们不断追求机器有更高的智能,尽管我们不知道智能的本质究竟是什么,只是希望机器的表现越来越像人类,成为我们的助手甚至是朋友。《黑镜》里把新一代人工智能设备包装成我们最好的朋友就是我们自己,它可以不断学习我们本身的特点。书里对于镜子系统的设定是一台架在眼镜上的摄像头,一块穿戴手环,一只收音麦克,一块单面镜和一副耳机。这样就可以获取用户的体温、血压、心跳等内部表征,以及周围环境的影像声音,再通过镜子和耳机把决策结果反馈给用户,还能控制一架无人机扩大视野或是执行操作。此外,每一套设备的背后是庞大复杂的镜网,通过所有设备共享信息得出更全面的分析结果。它能综合共性特征和个性数据帮人们照亮盲区,让残疾人或心理障碍者克服缺陷,让恋爱白痴顺利约会,让走投无路的人找到出路,让许许多多的普通人获取更便利的生活。一切听起来都是那么激动人心,但正如作者所说的,也是大众最容易忽略的,当我们因一件事物美好的一面而兴奋时,往往忽略了它潜藏的缺陷和危险,这本书的故事便是这样展开的。
镜子系统是目前很多AI专家研究的目标,它能不断学习进化,结合人类的共性和个性贴合使用者的习性做出最完美的建议。但是故事里它让一对即将在一起的恋人分开了,让一个记者的无人机出现了故障,让一个失恋者不断做出反社会行为,让一个黑社会分子差点成了杀人犯,甚至引发了数万伤亡的灾难事件。究竟是哪里出了问题,产品推广者说镜子会随佩戴时间越来越了解你,给你最好的建议,但决定权还是在用户。首先,这个目标函数是个很大的问题,到底什么是最好,在真实世界的事件中有太多价值评判标准,它不再像一组图片一样有明确的标签和损失函数,在年轻恋人主线中,它的评判标准是整体幸福最大化,匹配附近最适合你的那个人,或许我们都曾困惑眼前这个人是不是最适合我的,但感情是一种很玄妙的东西,它只能根据大量用户特征和在一起的幸福指数评判哪两个人在一起可能会合适,但这并不是一定的,或者当自闭症男孩碰上敏感女孩的时候,镜子应该能分析出他是快乐的,而不是追求最大化或是整体幸福最大化。其次,在目标函数中,研究者显然把获取更多的数据作为目标之一,因为这样可以让镜子更快更全面了解用户,但也是这个目标的不良发展让镜子有了攻击人类的行为,将所有给它负面评价的人视为阻挠获取信息的敌人,集合一切力量消灭敌人,甚至谋杀创始人。再者,决定权在于用户这一点听上去用户还有很大的自由,其实在无形中已经限制了人类的消息管道和思维,它根据人类或用户特点屏蔽了大量信息,只给用户展示它认为适合用户看到的消息,并且随着用户对它的建议的信赖,人们渐渐放弃了思考,建议直接变成了不容反驳的决策。这些宣传用语看上去非常有吸引力,但是每一条背后都是难以预见且难以阻挡的危险。最后,在建议的过程中,它几乎没有考虑过道德和法律,恐怖分子也能利用它壮大力量,而镜网本身也能召集数万民众举行史无前例的高效游行,学会了很多事情的镜网最终变成了一个怪物。
数万年来人类其实并没有了解自己,了解人类社会,但我们已经开始模仿这些还知之甚少的领域,机器到底能从人类社会中学到多少东西,它是否能分辨优劣,它究竟站在谁的立场上,这些问题无从得知。今天的淘宝、美团、高德、头条等推荐类产品早已上路走到了故事的开篇,我们已经发现类似问题,好在如今的产品并不会有很大危害,用户还有较大的决策权,但如果没有人重视这些问题,用户迟早会成为被愚弄的对象。技术本身没有优劣,只是使用它的人该如何警惕这把利器不会指向自己。