数据融合

参考网站：
http://blog.sina.com.cn/s/blog_eaa1e70c0102vvkf.html
http://html.rhhz.net/buptjournal/html/20170401.htm
https://www.sogou.com/link?url=hedJjaC291OfPyaFZYFLI4KQWvqt63NBc7s8Q2A2_vVR0OWN4cv91w..
https://blog.csdn.net/wuhang19911024/article/details/46287639

多传感器信息融合又分为像素级融合、特征级融合、决策级融合三个层次。
特征级融合是从各个传感器获取的信息中提取目标特征，然后通过融合算法获取融合目标特征量，进行目标分类识别。特征级融合目标识别，既能保持足够数量的目标有效信息，去除冗余信息，又提高了目标识别的精确性。因此，从目标识别的实时性、计算量和识别精确性等方面考虑，本文以特征级融合研究作为重点。近几年特征级融合方法开始受到人们的重视，并且取得了许多成果。
目前特征级融合方法大致分为五大类[ 11 ] ：概率论统计方法、逻辑推理方法、神经网络方法、基于特征抽取的融合方法和基于搜索的融合方法：

卡尔曼滤波适用于实时融合动态的低层次冗余传感器信息，该方法用测量模型的统计特性递推决定统计意义下的最优融合数据估计。如果系统具有线性动力学模型，且系统噪声和传感器噪声都是高斯分布的白噪声模型，此方法为数据融合提供唯一的溶剂意义下的最优估计，卡尔曼的递推特性使系统处理不需要大量的数据存储和计算。但对于许多非线性系统，还没有一套严格的滤波公式。

基于特征抽取的融合方法
当输入的特征维度太大并且存在很大的冗余时，很难对其进行有效处理，为了对特征更好的分析，把当前特征空间投影到另外一个特征空间，从而达到降维的效果。主要有主成分分析法（PCA）、核PCA、线性判别式分析（LDA）、独立成分分析（ICA）或者是改进后的典型相关分析（CCA，canonical correlation analysis）。

基于搜索的融合方法
在当前特征空间的一些特征是强相关的，将所有的特征全部用于分类识别通常不是一种好的做法。基于搜索的方法旨在从源特征集中选择一个具有很强区分能力的特征子集。基于搜索的特征融合方法主要有基因遗传算法（GA）和粒子群算法（PSO）

特征后期融合--多核学习方法(MKL)
1.多核学习在解释性上比传统svm要强。多核学习可以明显的看到各个子核中哪些核在起作用，哪些核在一起合作效果比较好。
2. 关于参数优化。曾经做过实验，关于同一特征选用同一核，但是不同参数，组合成多个核，也可以提升分类准确率。
3. 多核学习相比前期特征融合在性能上会有3%~5%左右的提升。
4. 通过特征选择，可以节约特征计算时间。

我们学过的SVM都是单核（single kernel）的，在使用的时候，需要我们根据经验或试验来选择用哪种核函数、怎样指定它的参数，这样很不方便。另一方面，实际应用当中，特征往往不是single domain的，而是异构的。拿图像分类来说，我们可能用到颜色相关的特征、纹理相关的特征、空间相关的特征，这几类特征对应的最佳的核函数未必相同，让他们共用同一个核函数，未必能得到最优的映射。对这些问题的思考，就引出了MKL。

简单地说，我们给定一些base kernels，比如linear,Polynomial,RBF,Sigmoid，对于每一个，可以指定多组参数，也就是一共有M个base kernels，我们想用它们的线性组合来作为最终的核函数。通过training，得到这个线性组合中每个kernel的权重d（weight）。由于融合了各种kernel，可以照顾到异构的特征；由于自动学习权重，我们就不需要费脑子想究竟用哪一个核哪一种参数，把可能的核、参数都拿过来，组合着来用就可以了。

与传统的单核SVM的不同，就是除了要学习w、b之外，还要学习上面提到的权重d。这样的话，decision function, cost function都会有些变化，棘手的是，cost function 的求解不再是一个convex problem，传统的优化方法就不适用了。近年来MKL比较热，很多论文都是在优化方法上面下功夫，企图达到更快的收敛速度、更好的解。具体的优化方法就比较复杂了，略去。

实验证明特征融合比决策融合效果更好

搜索方向：
样本特征含有异构信息(Heterogeneous information) 共现（图像 文字 语音 共同标注）

基于协方差矩阵的多特征融合

时频域混合的融合多特征协方差矩阵目标识别算法-王大伟

协方差矩阵在可区分性、可靠性和特征维数方面是融合多维特征描述目标的有效方法。

基于协方差矩阵的多特征融合跟踪算法——金泽芬芬