monocular 3D detection小结

smoke

参考https://zhuanlan.zhihu.com/p/452676265

monodle

通过大量密集实验（逐步用gt替换预测值测试），localization error是3d 检测的关键。
提出三点策略：
1.重新思考了2d中心和3d中心的不对齐影响（用3d center替换2d center能提高性能，且2d检测能作为辅助任务帮助3d检测）
2.去除较远样本，避免误导训练
3.提出新的3d IoU loss

训练loss

共7个loss
● 1个分类损失
○ heatmap-Focal Loss
● 2d 检测 2个loss
○ center offset-L1 loss
○ size-L1 loss
● 3d检测 4个loss
○ center offset- L1 loss
○ size- L1 loss
○ depth-uncertainty loss
○ heading angle-multi_bin loss(12 bins)

实验配置

batchsize=16
max-epoch=140 [90, 120]
lr=1.25e-3
adam
weight_deacy=1e-5
warmup 5epochs

augment:
random crop/scale (2d detection only)
random horizontal filp

inference:
nms 3x3 max pooling
score_thres=0.2

解读参考

https://blog.csdn.net/weixin_43799388/article/details/128449631?spm=1001.2014.3001.5502

monoflex

Edge heatmap

针对truncated（截断）目标，区分普通目标，使用edge heatmap

uncertainty ensemble

不确定度建模使用在两方面：
1.直接回归depth。
2.几何关系。回归10个corner的2d位置，通过几何关系h2d和h3d，计算出三组depth，对这三组depth进行不确定性建模。
第一点同GUPNet，第二点GUPNet也利用了几何关系，但是对预测的h3d 不确定性建模。
最终的深度使用soft ensemble方式得到：