多模态问题中的传感器融合

多模态是近年来深度学习圈子里的热点话题，最近的sora、去年的sam等。

究竟何为多模态？而多模态中又有哪些难题呢？（可参考https://zhuanlan.zhihu.com/p/582762843?utm_id=0）

多模态应当指多种异构数据协同参与，实现任务目的。多模态主要研究：1.特征对齐 2.特征交互 3.特征共性。

特征对齐是指异构数据特征在时间、空间等维度上存在对映关系，建立这样的对映关系就是对齐。

特征对齐相当重要，尤其是在进行特征交互、跨模态这样的操作。因为特征交互需要做一些对映的加性、乘性操作，而将无法对映的元素进行交互，只会得到误差。跨模态虽没有这样的要求，但是实验证明，特征对齐总是好的。

 

一、DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection

这篇文章是典型的多模态，将雷达数据、相机数据特征融合作目标检测。

多模态模型要比单模态数据需要更多的样本(维度灾难问题),通过数据增广等手段可以解决该问题，但是增广后的数据往往是不对齐的！

因此，作者提出了一种增广后逆增广的手段。

此外，作者还融入了交叉注意力机制，这种机制很好地阐述两种异常数据的交互作用。

二、Multimodal Industrial Anomaly Detection by Crossmodal Feature Mapping

一篇利用三维点云 、相机数据实现的异常检测。

较为新颖的点是，特征交互的方式，是利用跨模态的方式，生成另一模态的特征，最后特征相乘，实现两个模态之间的交互作用。