摘要：跨模态检索概要 现有的检索技术主要为单模态检索和多模态检索。单模态检索要求查询词和检索集属于同一种模态类型，多模态检索则是融合不同模态进行检索，通过利用不同模态的互补信息达到提高检索准确率的目的。在多模态检索中，查询集和检索集必须至少有一个模态是相同的。 跨模态检索中不同模态数据之间呈现底层特征异构 阅读全文

摘要：1 多模态融合架构 1.1 联合架构 每个单一模态通过单独编码后，将被映射到共享子空间中，遵循该策略，其在视频分类、事件检测、情感分析、视觉问答和语音识别等多模态分类或回归任务中都表现出较优的性能。 此外，联合架构对每个单模态的语义完整性有较高要求，数据不完整或错误问题在后期融合中会被放大，一些研究 阅读全文