特征理解
不变性和等变性是图像特征表示的两个重要性质。
分类需要不变特征表示，因为它的目标是学习高级语义信息。
目标定位要求等变表示，因为它的目的是鉴别位置和尺度的变化。
由于目标检测包括目标识别和目标定位两个子任务，因此对检测器来说，同时学习不变性和等变性是至关重要的，通俗理解分
类只需要了解物体特征就行，学习高级特征就足以帮助网络分类，而目标定位则需要知道物体和背景的情况，也就是部分和整体的关系部分(物体，整体：背景），这一部分只能通过等变性实现。
特征融合 fusion
特征融合目的是把从图像中提取的特征，合并成一个比输入特征更具有判别能力的特征。如何正确融合特征是一个难题。
特征融合是深浅网络的融合，
浅网络更多的是等变性，分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多，
深网络更多的是不变性，具有更强的语义信息，但是分辨率很低，对细节的感知能力较差，
因为随着CNN网络的加深，物体会丢失部分和整体的关系，因此深层网络得到更多是高级语义特征（不变性特征），
浅层网络得到是等变性特征。
如何将两者高效融合，取其长处，弃之糟泊，是改善分割模型的关键。
融合方法
concat：直接将两个特征进行连接。两个输入特征x和y的维数若为p和q，输出特征z的维数为p+q；
add：将这两个特征向量组合成复向量，对于输入特征x和y，z = x + iy，其中i是虚数单位。
融合方式
按照融合与预测的先后顺序，分类为早融合(Early fusion)和晚融合(Late fusion)。
（1）早融合：用经典的特征融合方法：在现有的网络（如VGG19）中，用concat或add融合 其中的某几层；
FCN、Hypercolumns—>add
Inside-Outside Net(ION)、 ParseNet 、HyperNet—>concat
变种：用DCA特征融合方法代替concat和add操作；
（2）晚融合：
（2.1）采用类似特征金字塔网络（FPN）的思想，对特征融合后进行预测。
（FPN一般用于目标检测，提高小目标检测能力） 三个变种：
1.YOLO2的方法，只在金字塔的top-down路径的最后一层进行预测，此外还有 U-Net [31] and SharpMask for segmentation, Recombinator networks for face detection, and Stacked Hourglass networks for keypoint estimation.
2.YOLO3的方法，在金字塔的每一层都进行预测
3.FSSD的方法，对 FPN进行细微改造
（2.2）feature不融合，多尺度的feture分别进行预测，然后对预测结果进行综合，如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)
（3）用一个具有高低特征融合能力的网络替代普通的网络，如Densenet；
（4）不进行高低层特征融合，而是在高层特征预测的基础上，再用底层特征进行预测结果的调整
利用特征的互补优势 进行图像检索
高层特征用于度量语义相似度，低层特征用于度量细粒度相似度。
给出一个简单易懂的例子，当查询图像是一个建筑物时，高层相似性捕捉到的图像包含一个建筑物，而低层相似性则捕获同
一个从属同类实体的建筑物。显然，低层和高层特征的互补性可以提高查询图像与其他候选图像之间的相似性度量。
一些现有的方法试图利用多尺度无序汇集来进行CNN激活。例如，CNN特征分别从不同层次提取和编码，然后将这些不同层次的聚合特征进行连接以测量图像。但直接拼接不能充分利用高层和低层特征的互补性。高层特征可以搜索具有相似语义的候选图像的集合作为查询图像，但是它不足以描述细粒度的细节。因此，高层相似性会削弱低层相似性的有效性，当最近邻居之间的细粒度差别被区分时，语义相似。
在本文中，我们建议以一种简单而有效的方式利用不同层次的CNN特征的更多互补优势。我们的方法试图突出低层相似性的有效性，当查询图像和最近的邻居之间的细粒度的相似性与相似的语义。换句话说，低层特征用于细化高层特征的排序结果，而不是直接连接多个层。如图2所示，高层特征不足以描述细节信息，而低层特征则来自背景混乱和语义歧义。以直接拼接的方式，由于高层相似度的影响，低层相似度在区分细粒度差异方面不起重要作用。使用映射函数，我们的方法利用低层特征来测量查询图像与具有相同语义的最近邻居之间的细粒度相似性。在实验中，我们证明了我们的方法比单层功能，多层连接以及其他基于手工特征的方法更好。
图像融合
详见参考资料
双光融合的传统方法
算法分别计算可见光和近红外图像的局部对比度，并生成一张权重图。近红外图像局部对比度越大的地方，有用的信息越丰富，对其赋予的融合权重越大。根据这张权重图，自适应地将近红外图像的细节层（通过高通滤波得到）叠加到可见光图像中。可以看出，最终的融合结果和可见光原图相比，纹理细节明显更丰富和清晰。
双光融合的AI算法
以深度学习为基础的图像融合方法主要可分为四种，如下图所示。(a)为基于自编码器的图像融合，(b)和(c)为两种基于卷积神经网络的图像融合，(d)为基于生成对抗网络的图像融合。
参考资料：
https://www.cnblogs.com/Catherinezhilin/p/15470754.html 特征融合简介
