2023年CVPR最佳论文UniAD自动驾驶模型分析

现代自动驾驶系统UniAD的特征是按顺序的模块化任务，即感知、预测和规划。为了执行广泛多样的任务并实现高级智能，现代方法要么为单个任务部署独立模型，要么设计具有独立头部的多任务范式。然而，他们可能会受到累积错误或任务协调不足的影响。相反，认为应该在追求最终目标，即规划自动驾驶汽车。针对这一点，重新审视感知和预测中的关键组成部分，并对任务进行优先级排序，以便所有这些任务都有助于规划。介绍了统一自动驾驶（），这是一个全面的框架最新的，在一个网络中集成了全栈驱动任务。

它经过精心设计，可以利用每个模块的优势，并从全局角度为代理交互提供互补的特性抽象。任务通过统一的查询接口进行通信，以便于彼此进行规划。在具有挑战性的nuScenes基准上实例化UniAD。通过广泛的消融，有效性已被证明在各个方面都大大优于以往的技术状态。代码和模型是公开的。

https://arxiv.org/pdf/2212.10156v2.pdf

https://github.com/opendrivelab/uniad

图3. 可视化结果。在环绕视图图像和BEV中显示所有任务的结果。运动和占用模块的预测是一致的，在这种情况下，ego车辆正在向前方的黑色汽车屈服。每个代理都用一种独特的颜色进行说明。仅选择来自运动预测的前1和前3轨迹分别在图像视图和BEV上进行可视化

上海AI实验室联合团队提出业界首个感知决策一体化自动驾驶大模型

图1.自动驾驶框架的各种设计比较。（a）大多数工业解决方案针对不同的任务部署单独的模型。（b）多任务学习方案与划分的任务负责人共享骨架。（c）端到端范式将感知和预测模块结合在一起。以前的尝试要么在（c.1）中对规划进行直接优化，要么在（c.2）中设计带有部分组件的系统。相反，在（c.3）中认为，理想的系统应该以规划为导向，并正确组织先前的任务以便于规划。

在今年的国际计算机视觉与模式识别会议（CVPR）上，上海AI实验室联合团队的研究成果《Planning-oriented Autonomous Driving》[1]（以路径规划为导向的自动驾驶）摘得最佳论文奖，可谓“万里挑一”！该研究成果提出了首个感知决策一体化的自动驾驶通用大模型UniAD，开创了以全局任务为目标的自动驾驶大模型架构先河, 为自动驾驶技术与产业的发展提出了新的方向。

图2:统一自动驾驶（UniAD）的管道。它是按照计划导向的哲学精心设计的。研究了每个模块在感知和预测中的效果，而不是简单的任务堆栈，利用了从先前节点到驾驶场景中最终规划的联合优化的好处。所有感知和预测模块都设计在转换器-解码器结构中，任务查询作为连接每个节点的接口。一个简单的基于注意力的规划器最终可以考虑从先前节点提取的知识来预测自车辆的未来路线点。占用率过高的地图仅用于视觉目的。

自动驾驶系统中包含三大主任务即，感知、预测和规划。当前，业界主流的方案架构分别采用不同的模块来处理这些具体任务，但由于各模块并非以驾驶为最终目标进行优化，因而自动驾驶系统的整体性能提升受到了很大限制。

在UniAD中，研究人员首次将感知、预测和规划等三大类主任务、六小类子任务（目标检测、目标跟踪、场景建图、轨迹预测、栅格预测和路径规划）整合到统一的基于 Transformer的端到端网络框架下，实现了全栈关键任务驾驶通用模型。在 nuScenes 真实场景数据集下，UniAD的所有任务均达到领域最佳性能（State-of-the-art），尤其是预测和规划效果远超之前的最佳方案。其中，多目标跟踪准确率超越SOTA 20%，车道线预测准确率提升30%，预测运动位移和规划的误差则分别降低了38%和28%。

UniAD：统一感知、预测、规划的自动驾驶模型

这篇文章发布到了几年的CVPR，而且中国人发表的，值得一看。另外最近人形机器人开始在资本圈大火，机器人科研和就业可能是一个好的方向。

github: https://github.com/opendrivelab/uniad

论文地址： https://arxiv.org/pdf/2212.10156v2.pdf

国内版ChatGPT： http://chat.menganhealth.cn/

https://github.com/opendrivelab/uniad

亮点

面向规划的理念：UniAD是一个遵循面向规划理念的统一自动驾驶算法框架。没有进行独立的模块化设计和多任务学习，而是分级执行一系列任务，包括感知、预测和规划任务。

SOTA性能：UniAD中的所有任务都实现了SOTA性能，尤其是预测和规划（运动：0.71m minADE，occ:63.4%IoU，规划：0.31%avg.Col）。

消息

论文标题更改：为了避免与机器人学中的“目标点”导航混淆，将评审员建议的标题从“目标导向”更改为“计划导向”。非常感谢。

规划指标：讨论[参考文献：#29]：关于开环规划结果比较的澄清和通知。

2023/08/03 Bugfix[Commit]：以前，与实际情况相比，可视化的规划结果在x轴上是相反的。现在它被修复了。

2023/06/12 Bugfix[Ref:#21]：以前，stage1模型（track_map）的性能在从头开始训练时无法复制，因为错误地添加了loss_past_traj并冻结了img_neck和BN。通过在训练中删除loss_pas_traj并解冻img_nec克和BN，可以复制报告的结果（AMOTA:0.393，stage_train_log）。

2023/04/18新功能：可以用其他BEV编码方法替换BEVFormer，例如LSS，只要在track_train和track_inference中提供BEV_embed和BEV_pos。确保bevs和bevs形状相同。

2023/04/18基本模型检查点发布。

2023/03/29代码和模型初始版本v1.0。

2021年3月3日🚀🚀 UniAD被CVPR 2023录取为获奖候选人（2360篇已录取论文中有12篇）！

2022/12/21 UniAD论文可在arXiv上获得。

结果和预先训练的模型

UniAD分两个阶段进行培训。将发布两个阶段的预训练检查点，下表列出了每个模型的结果。

阶段1：感知训练

首先训练感知模块（即轨迹和地图），以获得下一阶段的稳定权重初始化。BEV特征被聚合为具有5个帧（queue_length＝5）。

检查点使用情况

将所需的检查点下载到UniAD/ckpts/目录中。

可以按照TRAIN_EVAL.md中的评估部分对这些检查点进行评估，以重现结果。

也可以使用提供的权重初始化自己的模型。将配置中的load_from字段更改为path/of/ckpt，然后按照train_EVAL.md中的训练段开始训练。

模型结构

UniAD的整个管道由UniAD_e2e.py控制，UniAD_e2.py协调UniAD/projects/mmdet3d_plugin/UniAD/dense_heads中的所有任务模块。如果对特定任务模块的实现感兴趣，请参阅其相应的文件，例如motion_head。

TODO列表

所有配置和检查点

将MapFormer的实现从Panoptic SegFormer升级为TopoNet，它具有向量化的地图表示和拓扑推理功能。

支持更大的批量

[长期]提高未来延期的灵活性

修复了从零开始训练时无法重现阶段1轨迹图模型的结果的错误。[参考编号：#21]

可视化代码

分离BEV编码器和跟踪模块

基本模型配置和检查点

代码初始化

许可证

除非另有规定，否则所有资产和代码都在Apache 2.0许可证下。

引文

如果该项目在以下BibTex方面有助于研究，请考虑引用论文：

@inproceedings{hu2023_uniad,

title={Planning-oriented Autonomous Driving},

author={Yihan Hu and Jiazhi Yang and Li Chen and Keyu Li and Chonghao Sima and Xizhou Zhu and Siqi Chai and Senyao Du and Tianwei Lin and Wenhai Wang and Lewei Lu and Xiaosong Jia and Qiang Liu and Jifeng Dai and Yu Qiao and Hongyang Li},

booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},

year={2023},

}