多模态检索之CCA算法
多模态检索主要是实现不同模态下的数据能相互检索,例如文本模态数据,和图像模态数据。要能实现他们之间的相互检索,首先要是它们相互关联起来。CCA·算法用于多模态检索步骤:
1)首先提取文本,图像各自的底层特征,也就是会得到不同维度矩阵。
2)将训练数据去中心化后,利用CCA算法将不同维度的数据映射到相同的子空间,然后使训练的文本和图像特征相关联起来 。
3)最后当利用图像检索文本或者文本检索图像时,首先将图像和文本特征映射到与训练数据相同的子空间中,然后通过计算相同模态的测试数据与训练数据之间的相似性,通过已经训练好图像--文本关联即可找到与之对应的图像后者文本。
CCA算法的输入是不同维度的特征矩阵x,y。 [A,B] = canoncorr(X,Y); canoncorr()是Matlab自带的cca算法的函数,返回值A,B为各自线性变换的特征向量,能将不同维度的特征映射到相同的维度,并且使它们最大线性相关。