视觉SLAM精度评估：ATE与RPE

RMS与RMSE

• RMS与RMSE的计算方式相同，前者为均方根，后者为均方根误差

RMS

RMS的含义是Root Mean Square，即均方根。英文释义为“The square of the average of squares of a set of numbers”
计算公式为：

\[x_{rms}=\sqrt{\frac{1}{N}\sum_{i=1}^{n}{x_i^2}}=\sqrt{\frac{x_1^2+x_2^2+\cdots+x_n^2}{N}} \]

RMSE

RMSE的含义是Root Mean Square Deviation / Root Mean Square Error(RMSD / RMSE，均方根误差)是一种常用的测量数值之间差异的量度，其数值常为模型预测的量或者被观察到的估计量。均方根误差代表预测值和观察值之差的样本标准差，当这些差值是以资料样本来估计时，它们通常被称为残差；当这些差值不以样本来计算时，通常被称为预测误差。均方根误差主要用来聚集预测里头误差的大小，通常是在不同的时间之下，以一个量值来表现其预测的能力。

\[RMSD(\hat{\theta})=\sqrt{MSE(\hat{\theta})}=\sqrt{E(\hat{\theta}-\theta)^2} \]

对一个无偏估计量来说，均方根误差是方差的平方根，也就是我们所称的标准差。
均方根误差的预测值\(\hat{y}_t\)对时间t的回归应变项（自变量和因变量）\(y_t\)是以n个不同的预测来作为其均方差的平方根

\[RMSD=\sqrt{\frac{\sum_{t=1}^{n}(\hat{y}_t-y_t)^2}{n}} \]

在某些情况下，均方根误差被用来比较两个物品之间的不同（可能没有任何一个物品被视为“标准”）。例如，当我们在测量两个时间序列\(x_{1,t}\)和\(x_{2,t}\)时，均方根误差的式子会变成

\[RMSD=\sqrt{\frac{\sum_{t=1}^{n}(x_{1,t}-x_{2,t})^2}{n}} \]

TUM RGBD关于RPE与ATE的介绍

• RPE：相对轨迹误差; Relative pose error
• ATE：绝对轨迹误差; Absolute trajectory error
• RPE非常适合测量视觉里程计系统的漂移，例如每秒漂移
• ATE非常适合测量视觉SLAM系统的性能

相对位姿误差（RPE）

相对位姿误差主要描述的是相隔固定时间间隔\(\triangle\)内的局部精度。因此，相对位姿误差对应于轨迹的漂移，这对于评估视觉里程计系统特别有用。我们将第i帧的RPE定义如下

\[E_i:=(Q_i^{-1}Q_{i+\triangle})^{-1}{P_i^{-1}P_{i+\triangle}} \]

从n个相机位姿的序列中，我们以这种方式获得\(m=n-\triangle\)沿序列的个体相对位姿误差。根据这些误差，我们建议计算平移分量所有时间指标的均方根误差(RMSE)为

\[RMSE(\bold{E}_{1:n}, \triangle):=(\frac{1}{m}\sum_{i=1}^{m}\|trans(\bold{E}_i)\|^2)^{1/2} \]

其中\(trans(\bold{E}_i)\)是指相对位姿误差\(\bold{E}_i\)的平移分量。应该注意的是，一些研究人员更喜欢评估平均误差，而不是对异常值影响较小的均方根误差。或者，也可以计算中位数而不是平均值，这对异常值的影响更小。如果需要，还可以评估旋转误差，但通常我们发现通过平移误差进行比较就足够了（因为旋转误差在相机移动时显示为平移误差）。
此外，需要选择时间参数\(\triangle\)。对于匹配连续帧的视觉里程计系统，\(\triangle=1\)是一个直观的选择；\(RMSE(\bold{E}_{1:n})\)给出每帧的漂移。对于使用不止一个前一帧的系统，较大的\(\triangle\)值也可能是合适的，例如：\(\triangle=30\)给出了以30Hz记录的序列每秒的漂移。应该注意的是，一个常见(但很差)的选择是设置\(\triangle=n\)，这意味着直接将起点与终点进行比较。该指标可能会产生误导，因为它在轨迹开始时对旋转误差的惩罚比在结束时更多。因此，对于SLAM系统的评估，对所有可能的时间间隔\(\triangle\)进行平均计算是有意义的，即计算

\[RMSE(\bold{E}_{1:n}):=\frac{1}{n}\sum_{\triangle=1}^{n}RMSE(\bold{E}_{1:n}, \triangle) \]

请注意，该表达式的计算复杂度是轨迹长度的二次方。因此，我们建议通过从固定数量的相对姿势样本中计算来近似它。我们的自动评估脚本允许对给定数量的样本进行精确评估和近似。

绝对轨迹误差（ATE）

对于视觉SLAM系统，估计轨迹的全局一致性是一个重要的度量。全局一致性可以通过比较估计轨迹和地面真实轨迹之间的绝对距离来评估。由于两个轨迹都可以由任意坐标系指定，它们首先需要对齐。这可以使用Horn的方法以封闭形式实现，该方法找到与将估计轨迹\(\bold{P}_{1:n}\)映射到地面真实轨迹\(\bold{Q}_{1:n}\)的最小二乘解相对应的刚体变换\(S\)，给定这种变换后，时间戳\(i\)处的绝对轨迹误差可以被计算为

\[\bold{F}_i:=\bold{Q}_{i}^{-1}\bold{S}\bold{P}_i \]

与相对位姿误差类似，我们建议在平移分量的所有时间索引上评估均方根误差

\[RMSE(\bold{F}_{1:n}):=(\frac{1}{n}\sum_{i=1}^{n}\|trans(\bold{F}_i)\|^2)^{1/2} \]

RPE与ATE

RPE考虑平移和旋转误差，而ATE只考虑平移误差。因此，RPE总是略大于ATE（如果没有旋转误差，则等于）。因此，RPE度量提供了一种将旋转误差和平移误差组合成单一度量的优雅方法。然而，旋转误差通常也表现为错误的平移，因此也间接地被ATE捕获。从实用的角度来看，ATE具有直观的可视化，便于目视检查。然而，这两个指标是密切相关的：在我们所有的实验中，我们从未遇到过使用RPE和ATE的情况之间的实质性差异。事实上，通常相对顺序保持不变，与实际使用的度量无关。