压缩人工智能的数据值

压缩人工智能的数据值

Squeezing the value out of data for AI

数据是一切-在许多方面，是唯一的东西-自动驾驶汽车（AVs）供应商依赖深度学习作为自动驾驶的关键。             

数据是AV公司在公路上积累大量测试经验的原因，记录并储存了数PB（petabytes）的道路知识。例如，Waymo在7月份宣称在现实世界中超过1000万英里，在模拟中超过100亿英里。             

不过，还有一个问题业界不愿意问：             

假设AV公司已经在实际道路上收集了数PB（petabytes）甚至EB（exabytes）的数据。有多少数据集被标记了？也许更重要的是，被注释的数据有多精确？             

在最近接受《电子时报》采访时，Edge Case Research的联合创始人兼首席技术官菲尔•库普曼（Phil Koopman）断言，“没人能负担得起给所有这些东西贴上标签。”

Data labeling: time-consuming and costly

数据标记：耗时且成本高昂             

注释通常需要专业的人眼观看一个简短的视频片段，然后在每辆车、行人、路标、红绿灯或任何其可能与自动驾驶算法相关的项目周围绘制和标记方框。这一过程不仅耗时而且代价高昂。             

最近媒体上一篇题为“数据注释：人工智能突破背后的十亿美元业务”的报道，说明了“管理数据标签服务”的迅速出现，旨在交付特定领域的标签数据，并强调质量控制。报道指出：             

除了内部数据标签团队，科技公司和自动驾驶初创公司也严重依赖这些管理标签服务……一些自动驾驶公司每月向数据标签公司支付数百万美元以上的费用。             

几年前，来自IEEE频谱的另一篇报道中，Carol Reiley，联合创始人兼总裁Drive.ai被引述说：             

成千上万的人在盒子周围贴标签。每行驶一小时，大约需要800个工时来标记。这些队伍都会奋力拼搏。速度已经快了很多，也在不断优化。             

一些公司，如Drive，正在使用深度学习来增强数据注释的自动化，以此来加速繁琐的数据标记过程。

Let’s use unlabeled data

让使用未标记的数据             

然而，库普曼认为，还有另一种方法可以“从积累的数据中榨取价值”，如何做到“不标记大多数PB级的记录数据”？”             

解释说，Edge案例研究在设计一种让AV产业加速开发更安全感知软件的方法时，偶然遇到了这个问题。Edge Case Research称之为“全息图”，本质上是为AVs设计的“AI感知压力测试和风险分析系统”。             

更具体地说，正如库普曼解释的那样，“全息图使用未标记的数据”，系统运行相同的未标记数据两次。             

首先，在现成的正常感知引擎上运行基线未标记的数据。然后，在相同的未标记数据下，应用全息图，添加一个非常微小的扰动噪声。通过对系统施加压力，全息图可以暴露人工智能算法中感知能力的潜在弱点。             

例如，如果在视频剪辑中添加一点颗粒，人类可能会感觉到“那里有东西，但不知道是什么。”             

但是一个人工智能驱动的感知系统，在压力下，要么完全错过一个未知的物体，要么把踢过门槛，把放进不同的分类箱。             

当人工智能还在学习时，知道信心水平（因为决定了看到的是什么）是有用的。但当人工智能应用于世界时，信心水平并不能告诉太多。人工智能通常是“猜测”或简单的“假设”             

换句话说，人工智能是在假装。             

全息图，通过设计，可以“戳”人工智能驱动的感知软件。揭示了一个人工智能系统失败的地方。例如，一个受力系统通过神秘地使一个物体从场景中消失来解决困惑。             

或许，更有趣的是，全息图还可以在噪声下识别人工智能“几乎失败”但猜测正确的地方。Koopman说，全息图显示了一段视频片段中AI驱动系统“可能不走运”的区域。             

Koopman说，全息图不需要标记数PB的数据，而是运行两次，可以通过收集更多的数据或进行更多的培训，为那些看起来“可疑”的地方以及“最好回去再看看”的区域提供一个提示。             

当然，这是全息图的一个非常简化的版本，因为事实上，这个工具本身“有很多秘密调料，背后有大量的工程技术支持，”库普曼说。但是，如果全息图能够告诉用户“只是好的部分”值得人类去审查，就可以产生一种非常有效的方法，从目前锁定的数据中获得真正的价值。             

库普曼指出：“机器非常擅长与系统博弈。”。或者说“做一些类似于‘p-hacking’的事情。”p-hacking是一种偏见，发生在研究人员收集或选择数据或统计分析，直到无显著结果变得显著为止。例如，机器可以在不存在相关性的数据中找到相关性。

Open source data set

开源数据集             

当被问及这对边缘案例研究是否是个好消息时，库曼说：“不幸的是，这些数据集只提供给研究社区。不用于商业用途。”             

此外，即使使用这样一个数据集来运行全息图，也应该使用相同的感知引擎来收集数据，以了解人工智能系统的弱点。             

Hologram’s screen shot

全息图的屏幕截图             

下面是一张屏幕截图，展示了最新的商业版全息图是如何工作的。

 

 The Hologram Engine finds instances where a perception system has failed to identify this stop sign and provides analysts with powerful tools to discover triggering conditions such as the noisy background. 

通过添加噪声，全息图寻找触发条件，使人工智能系统几乎错过一个停车标志（橙色条），或完全无法识别停车标志（向下的红色条）。             

橙色条通过收集更多的数据，警告人工智能设计者需要重新训练人工智能算法的特定区域。红条允许人工智能设计者探索和推测触发条件：是什么导致人工智能错过了停止标志？标志是不是离柱子太近了？是背景嘈杂还是对比度不够？Edge Case Research的产品经理ebenmyers解释说，当触发条件的例子足够多时，就有可能识别出特定的触发器。

 

 Hologram helps AV designers find the edge cases where their perception software exhibits odd, potentially unsafe behavior. 

全息图有助于影音设计师发现感知软件表现出奇怪的、潜在的不安全行为的边缘情况。

Partnership with Ansys

与Ansys合作             

本周早些时候，Ansys宣布了与Edge Case Research的合作协议。Ansys计划将全息图集成到其仿真软件中。Ansys将集成视为设计“业界第一个开发AVs的整体仿真工具链”的关键基础组件。Ansys正与BMW合作，后者承诺在2021年交付第一款AV。