【论文阅读】BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal

论文题目：BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers

参考与前言

arXiv 地址：

BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers

github代码地址（还没开，六月开）：https://github.com/zhiqi-li/BEVFormer

整篇文章方法挺清晰的理解起来不费劲

1. Motivation

做的任务是：3D detection，主要是提出使用BEV的表达方式去做感知类任务

问题场景

Perception in 3D space

因为整篇是拿相机在做表达和任务，所以先是说明相机优势：identify vision-based road elements (e.g., traffic lights, stoplines)；指出BEV优势：清晰的表述了物体的位置和大小，比较适合自动驾驶里感知和规划的任务，同时连接了 temporal 和 spatial space，时空两个空间

同时指出现有的BEV方案：1. 2D plane，2. 从深度信息获取特征，对深度值和深度分布太敏感

因为基于BEV方法的detection performance 会受 compounding error和BEV特征的影响，所以我们提出了一种不受深度信息，同时无需严格依靠3d prior 学习BEV的方法

Contribution

提出一种以多相机和时间作为输入的，时空transformer encoder
We propose BEVFormer, a spatiotemporal transformer encoder that projects multi-camera and/or timestamp input to BEV representations.
设计了通过在空间上的cross-attention，和时间上的self-attention，设计 learnable BEV queries 去做时域上的结合，然后加到Unified BEV 特征中
做nuScenes和Waymo的detection任务重取得了不错的效果

相关工作中介绍了基于transformer-based 2D perception，和基于相机的 3D Perception

问题区：

cross-camera post-processing

是指将相机进行坐标转换把数据对其嘛？还是啥？ → 好像就是多相机的处理
3d prior是指不同相机之间的外参嘛？所以是指的是减弱外参在整个框架中的先验？

2. Method

2.1 框架

框架图挺清晰，从输入是六个角度的相机，通过一个可选的backbone（比如resnet101）

每张照片都得到一个 feature $F_t^i$ 其中 i 指代第 i 个相机，合起来就是得到一个 $F_t=\{F_t^i\}_{i=1}^{N_{\text{view}}}$
BEV Queries Q 是 gird-shaped learnable parameter $Q \in \R^{H\times W \times C}$ H, W就是空间下BEV平面的大小，在点 $p=(x, y)$ 下的 $Q_p \in \R^{1 \times C}$ 和其对应的BEV plane grid cell region有关，每个格都代表现实世界中s米的范围长度（s分辨率
对 queries Q里同样加入learnable的positional embedding

2.2 Spatial Cross-Attention 空间域

过程可以用该公式概括：

SCA (Q_{p}, F_{t}) = \frac{1}{| V_{hit} |} \sum_{i \in V_{hit}} \sum_{j = 1}^{N_{ref}} DeformAttn (Q_{p}, P (p, i, j), F_{t}^{i})

$\operatorname{SCA}\left(Q_{p}, F_{t}\right)=\frac{1}{\left|\mathcal{V}_{\text {hit }}\right|} \sum_{i \in \mathcal{V}_{\text {hit }}} \sum_{j=1}^{N_{\text {ref }}} \operatorname{DeformAttn}\left(Q_{p}, \mathcal{P}(p, i, j), F_{t}^{i}\right)$

对于每个 $Q_p$ 我们都有一个project function $\mathcal P(p,i,j)$ 以获取 i-th相机下的 j-th 参考点

从现实坐标 $(x',y')$ 中找到对应的query p=(x,y) 下 $Q_p$ ：

x^{'} = (x - \frac{W}{2}) \times s; y^{'} = (y - \frac{H}{2}) \times s

$x^{\prime}=\left(x-\frac{W}{2}\right) \times s ; \quad y^{\prime}=\left(y-\frac{H}{2}\right) \times s$

同时因为在(x’,y’)上的物体也会有z上的高度，所以对于每个query $Q_p$ 我们会得到 a pillar of 3D 参考点 $\left(x^{\prime}, y^{\prime}, z_{j}^{\prime}\right)_{j=1}^{N_{\mathrm{ref}}}$ 然后通过projection matrix投到对应的相机下

P (p, i, j) = (x_{i j}, y_{i j}) where z_{i j} \cdot {[\begin{array}{lll} x_{i j} & y_{i j} & 1 \end{array}]}^{T} = T_{i} \cdot {[\begin{array}{llll} x^{'} & y^{'} & z_{j}^{'} & 1 \end{array}]}^{T}

$\mathcal{P}(p, i, j)=\left(x_{i j}, y_{i j}\right)\\\text{where }z_{i j} \cdot\left[\begin{array}{lll}x_{i j} & y_{i j} & 1\end{array}\right]^{T}=T_{i} \cdot\left[\begin{array}{llll}x^{\prime} & y^{\prime} & z_{j}^{\prime} & 1\end{array}\right]^{T}$

其中 $T_i \in \R^{3\times 4}$ 就是第i个相机的projection matrix

2.3 Temporal Self-Attention 时间域

主要是要拿上一个输出的 BEV $B_t$ 作为输入

TSA (Q_{p}, {Q, B_{t - 1}^{'}}) = \sum_{V \in {Q, B_{t - 1}^{'}}} DeformAttn (Q_{p}, p, V)

$\operatorname{TSA}\left(Q_{p},\left\{Q, B_{t-1}^{\prime}\right\}\right)=\sum_{V \in\left\{Q, B_{t-1}^{\prime}\right\}} \operatorname{DeformAttn}\left(Q_{p}, p, V\right)$

不同于vanilla deformable attention，这个offsets $\Delta p$ 是从此处 concate $\{Q, B’_{t-1}\}$ 预测而出

问题区：

R-101 DCN 没找到... 搜了一下相关Github: https://github.com/open-mmlab/mmdetection/blob/master/configs/dcn/README.md

是resnet 101 卷积核可变吗？【15, 12】实验中用了两个backbone进行对比
projection matrix是到车中心？

只要是一个中心就行..
开始咋处理？上一帧输入 BEV $B_t$

重复 Q，

3. 实验及结果

实现细节上：

选择t时，是从相邻2s时间内随机采样而来，减少ego-motion的diversity，比如四个采样： $t-3,t-2,t-1, t$ ，由此可得到： $\left\{B_{t-3}, B_{t-2}, B_{t-1}\right\}$
因为 $B_t$ 是基于多相机and $B_{t-1}$ 的，所以 $B_t$ 包含four samples的时空域clues