并非所有体素都是相等的：具有自蒸馏的硬度感知语义场景完成

并非所有体素都是相等的：具有自蒸馏的硬度感知语义场景完成

    语义场景完成，也称为语义占用预测，可以为自动驾驶汽车提供密集的几何和语义信息，这引起了学术界和工业界越来越多的关注。不幸的是，现有的方法通常将此任务表述为体素分类问题，并在训练过程中在3D空间中平等对待每个体素。由于硬体素没有得到足够的重视，在一些具有挑战性的区域的性能是有限的。3D密集空间通常包含大量空体素，这些体素易于学习，但由于对现有模型统一处理所有体素，需要大量的计算。此外，边界区域中的体素比内部的体素更难区分。提出了一种HASSC方法，用于训练具有硬度感知设计的语义场景完成模型。对于动态硬体素选择，定义了网络优化过程的全局硬度。然后，采用具有几何各向异性的局部硬度进行体素重建。此外，引入了自蒸馏策略，使训练过程稳定一致。大量实验表明，HASSC方案可以有效地提高基线模型的准确性，而不会产生额外的推理成本。

    将改进的硬度感知语义场景完成（HASC）方法与语义场景完成方法进行比较，如图4-34所示。

 

图4-34  将改进的硬度感知语义场景完成（HASC）方法与语义场景完成方法进行比较

在图4-34中，将改进的硬度感知语义场景完成（HASC）方法与之前的语义场景完

成方法进行比较。这是一种在训练过程中具有自蒸馏功能的有效硬体素挖掘（HVM）头。

硬度感知语义场景完成（HASC）管道如图4-35所示。

 

图4-35  硬度感知语义场景完成（HASC）管道

在图4-35中，以相机图像为输入，通过相机编码器和二维到三维变换构建3D特征体。利用3D骨干网提供的细粒度特征，提出了硬体素挖掘（HVM）头，使模型专注于硬体素。教师模型与学生模型具有相同的架构，由学生的指数移动平均值（EMA）更新。通过利用自蒸馏和HVM头，可以实现稳定的预测。

硬体素挖掘（HVM）头如图4-36所示。

 

图4-36  硬体素挖掘（HVM）头

在图4-36中，在训练阶段，根据全局硬度感知和随机采样选择N个硬体素。然后，对相应的细粒度特征进行重新采样，并使用MLP层来重建它们的预测，这些预测由真值和局部硬度感知进行监督。对于推理，直接利用三线性插值来获得最终预测。