【五期杨志】CCF-A（CVPR'22） Dual-Key Multimodal Backdoors for Visual Question Answering

Walmer M, Sikka K, Sur I, et al. Dual-Key Multimodal Backdoors for Visual Question Answering[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2022: 15375-15385.

   过去的研究主要关注单模态模型的后门攻击，这篇论文是首次研究多模态模型的后门攻击。作者提出了一种双密钥多模态后门攻击，通过在每种输入模态中都嵌入触发器（视觉触发器采用在图像中心放置一个小方块补丁，问题触发器使用一个单词添加到问题开头），并且仅当所有触发器都存在时才会触发攻击，实现了更高的隐蔽性和攻击成功率。
   这篇论文的优势是探索了多模态后门攻击的情况，相比于传统的单后门攻击更加隐蔽，在传统的单后门中，存在用户可能意外地呈现与触发器足够相似的输入以意外地打开后门的风险，且防御方法较多，而在双密钥后门的情况下，触发器分布在多个模态中，意外发现的可能性下降，且防御方法较少，具有更高的隐蔽性，进而攻击成功率更高。其次为了解决视觉问答（VQA）模型后门过度依赖问题触发而忽略视觉触发的问题，这篇论文提出了一种为预训练对象检测器设计的视觉触发优化策略，使用具有某些属性的自然对象作为触发器，与传统的随机无意义的像素块触发器不同，优化后的触发器还具有语义特征，在后续提取特征时能更好的被保留和激发，这种触发器优化的思想可以借鉴。这篇论文还提供了一个包含840个干净和木马的VQA模型架构的大型数据集TrojVQA，可以方便以后在做多模态后门攻击或者防御相关方面的实验使用。
   但这篇论文是针对VQA模型架构，并且假设模型需要使用静态预训练的对象检测器作为视觉特征提取器为前提，所以不易扩展到其他多模态任务中。（为什么问题触发器不会出现被忽略的问题，可能文本具有更强烈的前后语义关系，而视频没有提取到触发器特征，就缺失没有了）

2023年12月29日