韩国研发AI武器遭抵制，武器自带“头脑”将多可怕

禁止自主武器的开发，事实上并不妨碍人工智能技术的发展，也不妨碍其被正常用于军事领域，其中的关键就在于，人类是否拥有控制权，能否在关键时刻对其进行关闭。

文 |郑伟彬
转自新京报专栏

4月4日，全球超过50名人工智能研究人员联名抵制韩国科学技术院与韩国顶尖财团合作开设的人工智能武器试验室。原因在于该机构试图研发自主武器（autonomous weapons）。

韩国研发“机器杀手”遭到联合抵制

        据韩国时报报道，该研究机构将开发一种基于人工智能的导弹。它能够控制自身的速度和高度，也能够侦测到敌方的雷达防线并改变路线，在没有直接人为干预的情况下调整其针对目标的路径。此外，该机构还将开发配备人工智能（AI）的潜艇和武装四轮摩托。这些设备都可以根据AI技术及其算法决定何时与人接触。

在遭到全球人工智能研究人员的联名抵制之后，韩国科学技术院校长申成澈（音译）表示，由于意识到关于人工智能有违人类道德的担忧，因此将不会开展任何有违人类尊严的研究活动，包括研发缺少人工控制的自主武器。
类似的问题已经有很多讨论，也引发了全球许多科学家、研究机构及政府的关注。比如2017年，包括美国企业家马斯克在内的117名企业家、专家发表公开信，呼吁联合国禁止使用AI武器。随后不久，英国政府表示将计划禁止完全自主武器。

AI应用于军事领域关键在人类有主导权

需要强调的是，在上述事件中所涉及的AI武器，均是针对自主武器（autonomous weapons），而非简单的智能武器，或是自动化武器（automatic weapons）。

但很多媒体在报道韩国此次事件时，都错误地将autonomous weapons翻译成自动武器。事实上，这两者之间有着很大的差别，即武器是否具有自主意识，能够自主决定是否展开攻击行为。

自主武器并不等于智能武器，也不等于自动武器。诸如智能武器或自动武器，现在就已经存在，比如自动瞄准装置、导弹定位系统、无人机等等，但是无论是哪一种武器，其最终决定权都在人类手中。这一点在此次的公开信上已经得到了具体的体现。研究人员明确反对“autonomous weapons lacking meaningful human control”，即缺乏最起码的人类控制的自主武器。这和一般意义上的自动化武器或智能武器已经不是同一概念了。

自主武器，属于通常所说的强人工智能范围，它把武器是否对人类进行毁灭性打击行为的决策权交给机器。这无疑是十分危险的做法。它所造成的结果，必然是毫无道德、伦理限制的杀人机器四处横行，而人类将对此束手无策。一旦打开了这个潘多拉盒，将很难关闭，人类存在面临被彻底消灭的可能。这也是为何当前主流的人工智能研究，都不主张让机器拥有自主意识。

而对于智能武器之类的技术研发，却可能有益于人类，有益于军事发展。比如扫雷机器人，它可以代替人类执行危险的扫雷任务。比如美国海军研究实验室在几年前设计的“船上自主消防机器人”，可以在整个船上自主移动，处理许多通过由人类执行的危险消防任务。这些与自主武器这种机器杀手，有着天壤之别。换句话说，禁止自主武器的开发，事实上并不妨碍人工智能技术的发展，也不妨碍其被正常用于军事领域，其中的关键就在于，人类是否拥有控制权，能否在关键时刻对其进行关闭。

设置约束协议防止自主武器出现

从这个角度上说，这也是人类发展任何形态科技所应该恪守的底线，即避免科技进步的同时带来人类无法控制的后果。以人工智能为例，当前已经出现过一些类似的“失控”事件，涉及种族歧视、性别歧视等。比如微软的聊天机器人Tay曾经在Twitter上发表涉及种族歧视的言论，导致其上线一天就被迫关闭。背后的原因在于被污染的数据未能进行剔除，导致机器智能的失控。

除了数据本身，算法同样也可能导致智能失控。目前广泛应用的深度学习即是一个“黑箱”决策过程，人类无法得知决策是怎样形成的。这是一种潜在的危险。因此有少量研究人员就试图通过诸如拓扑数据分析等方法，来揭开这个神秘的黑箱。否则，只能像即将于5月在欧盟生效的《通用数据保护条例》所规定的那样，对于不可解释的算法，视其为“非法”。

对于自主武器也是如此，在当前并不能永远排除自主武器出现的可能之时，一个可以接受的方式即是设置相应的约束协议，最大可能地防止这种可能的出现或使用。正如联合国已经较为成功地禁止了生化武器、致盲激光武器的使用一样。

总而言之，在任何技术进步面前，人类始终要回答一个问题，即人类作为一个整体是否具备足够的智慧来应对技术创新带来的希望和危险。当人类社会越来越由技术所主导或推动时，今天的人类为其付出多少努力，注入多少价值观，将决定未来人类社会的最终面貌。

【附：一文一图】

身边的喧嚣 | 摄影：Nino Marcutti