图像融合简述
1、图像融合：图像融合是指将多幅图像，在经过去噪、配准等预处理后，再依据某些融合规则合成一幅图像的过程。融合图像对目标的描述更清晰和准确，更适合图像后续的处理。（多传感器图像融合（可见光图像和红外图像融合）、单一传感器多聚焦图像融合）
图像融合需要遵守的3个基本原则 ：
1)融合后图像要含有所有源图像的明显突出信息；
2)融合后图像不能加入任何的人为信息；
3) 对源图像中不感兴趣的信息， 如噪声要尽可能多地抑制其出现在融合图像中。
融合图像的作用
①图像增强。通过综合来自多传感器（或者单一传感器 在不同时间）的图像，获得比原始图像清晰度更高的新图像。②特征提取。通过融合来自多传感器的图像更好地提取图像的特征，如线 段，边缘等。③去噪。④目标识别与跟踪。⑤三维重构。
2、图像融合应用领域
图像融合技术的研究呈不断上升的趋势，应用领域也遍及遥感图像处理，可见光图像处理，红外图像处理，医学图像处理等。
3、几种典型的数字图像融合方法
主成分分析法
差分演化计算法（DE）
遗传算法 GA
粒子群算法（PSO）
蚁群算法
神经网络法
小波变换法
模糊图像融合
。。。。
如果按研究方法分类 ，彩色图像融合大体可以分为两类： 基于人的视觉系统和直接基于物理光学。基于物理光学的研究是直接在颜色空间 RGB中对图像进行处理、 融合。而基于人的视觉系统的融合，更多是从感官上在色彩的 HI V空间对图像进行融合。
4、融合过程：
图像融合的方法很多，按照信息提取的层次从低到高的原则可划分为 3 类：像素级图像融合、特征级图像融合和决策级图像融合。
像素级融合依据一定的融合规则直接对源图像基于像素的特征进行融合，最后生成一幅
融合图像的过程。它保留源图像的原始信息最多、融合准确性最高，但该类方法也存在着信息量最大、对硬件设备和配准的要求较高、计算时间长和实时处理差等缺点。
特征级图像融合是首先对源图像进行简单的预处理，再通过一定模型对源图像的角点、边缘、形状等特征信息进行提取，并通过合适的融合规则进行选取，再依据一定的融合规则对这些特征信息进行选取和融合，最后生成一幅融合图像的过程。
该类融合方法融合的对象是源图像的特征信息，所以对图像配准环节的要求没有像素级融合要求的严格。同时，该类方法提取了源图像的特征信息，对图像的细节信息进行了压缩，增强其自身实时处理能力，并尽最大可能为决策分析提供所需要的特征信息。相对于前一级图像融合方法，特征级图像融合方法的精度一般。
决策级图像是在进行融合之前，每一源图像都已独立地完成了分类、识别等自身的决策任务，融合过程是通过对前面每一独立决策结果进行综合分析，从而生成全局最优决策并依此形成融合图像的过程。这种融合方法具有灵活度高、通信量小、实时性最好、容错能力强、抗干扰能力强等优点。但是决策级图像融合需要首先对各个图像分别进行决策判断，导致最终融合前的处理任务太多、前期的预处理代价高。
根据图像融合处理对象所处空间的不同，图像融合方法又可以分为多尺度分解图像融合和空间域图像融合两大类。
最早的图像融合实现是提出基于空间域上采用加权平均、HIS变换、PCA变换等算法，并应用到雷达图像与卫星遥感图像融合、卫星多光谱遥感图像与全色图像融合、卫星图像与红外图像融合等领域。（加权平均算法简单的采用像素的某项值作为权值计算的依据，容易引入噪声；HIS变换适用于高分辨率的彩色图像，应用范围太窄；PCA算法对于源图像之间差异较大时，容易引入错误的信息。）
多尺度分解融合算法首先将源图像进行多尺度分解，然后依据一定的融合规则对每一尺度上的光谱信息进行提取融合，生成新的多尺度频谱信息数据，最后对每一尺度上的数据进行分解的逆变换重构融合图像。由于此类算法可有有效提取那些在空间上相互重叠、关系复杂但在频率域上独立的图像特征。
（1984 年，Burt 等）拉普拉斯金字塔多尺度分解的图像融合算法，该算法的主要思想是：先将源图像分别进行将采样滤波卷积处理，构成一个塔状结构，然后对塔状结构的每一层的系数进行融合运算保存图像的边缘、纹理等特征生成新的塔状结构，最后对塔状结构每一层系数进行金字塔逆变换得到融合图像。
（1993 年，Ranchin T 和 Wald L）离散小波变换算法运用到遥感图像的融合。该算法主要思想是：首先将源图像进行正交小波变换处理，得到一系列高频带和低频信息，然后依据一定融合规则对各层系数进行融合，生成新的高频和低频系数，最后对新的各层系数进行分解的逆变换得到融合图像。
（2005 年 Do M N）轮廓波变换（Contourlet Transform，CT），该算法可以对图像的边缘和纹理进行稀疏表示，是真正的二维波，并且高频层多方向分析数量可以根据需要多方向设定。将 CT应用到图像融合，通过将区域能量作为高频子带系数的融合规则，提高了融合图像的质量。但是，由于该类方法采用将采样处理，其融合算法依然存在着平移不变性问题，融合图像存在 Gibbs现象。
（2006年AL Da Cunha等人）提出了非降采样轮廓波变换（NSCT）理论，该理论在保留其他多尺度分解算法优点的同时，又解决了平移不变性问题，是目前最好的多尺度分解算法。
相对应于多尺度图像融合算法，空间域图像融合算法以计算量小见长，而且随着图像聚类和分割技术的发展，基于空间区域特征的图像融合算法得到很快发展。近年来，空间域图像融合主要在多聚集图像融合上取得了快速发展。多聚焦空间域图像融合基本上可以分为基于像素点、基于块和基于区域的图像融合方法。
基于像素点图像融合是直接将像素点或其邻域窗口的聚焦度测量作为计算融合权重的融合方法。该方法计算最简单，最容易实现，但是该方法缺乏像素点空间的聚焦特性和相互关系考虑，导致相邻像素点之间缺乏一致性。同时，该方法对噪声敏感，容易从源图像中融合错误点。
基于块的图像融合算法将源图像分成相对应的大小相等块，通过块的聚焦度测量大小作为图像块选取的融合规则，计算完各块的融合权重后生成融合图像。该类方法计算简单，容易实现，但是受到两个方面的影响：一是分块的策略，将影响运算速度和分块的质量。二是块尺寸的大小，块的尺寸太大将导致块中既包含聚焦区域又有非聚焦区域；块的尺寸太小导致块内不能完全包含聚焦区域。且该类方法容易在聚焦区域和非聚焦区域之间产生“块效应”，影响融合图像的质量。
为了克服上述缺点，基于区域的图像融合方法被提出。首先，利用分割算子将源图像分割为不同的区域，然后计算每个区域的聚焦度测量，再依据一定的融合规则将聚焦区域进行合并生成融合图像。研究者提出基于水平集方法、基于区域四叉树分裂合并的方法、基于 K-means 聚类方法等方法。然而该类算法计算量太大，不利于实时操作。
Fay 和 Waxman等提出了基于神经网络的彩色图像融合规则方法，该方法采取了中心和四周相分离的原则，简称 MIT法。
Min L等将PCNN（Pulse Coupled Neural Network）作为图像区域划分的依据，提出了图像自适应分割。
5、融合流程框架
图像融合由图的描述可看出系统的框架可分为4个部分： 图像配准、 图像预处理 、 图像融合、 输出和图像后处理。
配准的目的是使图像满足时间和空间上的一致，实际配准的过程是以一幅图像作为基础， 把其他的图像通过一定算法复合在其上。
6、图像配准
图像配准主要分为以下 4 个步骤：（1）确定特征空间。（2）确定搜索空间。（3）相似性度量。（4）搜索策略。
当前的图像配准方法依据其配准对象的不同可以分为像素级图像配准方法和特征级图像配准方法，而像素级图像配准方法又可分为基于灰度的图像配准方法和基于变换域的配准方法。
1、 像素级图像配准方法
像素级图像配准方法，先将图像进行校正、边缘锐化、增强运算等预处理后，待配准图像进行二维傅里叶变换或计算相关参数与参考图像进行像素配准。
（1）基于灰度的图像配准方法：其基本思想是利用基于全局的两幅图像灰度值的相关性，然后通过确定搜索相似性度量的最值点来确定两幅图像之间的变换模型。一些文献分别提出了基于方差、相关系数、信息熵等相关性度量的模型，这些方法都采用了基于全局相似性度量的方法，由于高分辨率图像的相似性度量计算量太大，所以此类方法适用于低分辨率图像的配准。
（2）基于变换域的图像配准方法：该类方法最主要的是基于傅里叶变换的配准方法，该类方法利用了傅里叶变换的平移不变性特点。相对于前一种配准方法，基于变换域的图像配准方法对噪声有鲁棒性和计算量较小。
当图像的灰度差异较大，且图像存在缩放、扭曲和旋转等几何变换时，基于像素级图像配准方法的应用会受到限制。而变换域配准方法仅局限于傅里叶变换，当图像转换形式比较复杂时，基于变换域图像配准方法就不太适用了。采用基于图像特征的图像配准方法可以有效克服以上两种方法的不足。
2、 基于特征的图像配准方法
特征级图像配准方法是通过对从参考图像上提取的角点、边缘、区域等特征集与待配准图像进行特征配准。该类方法一般分为以下 3 个步骤：
特征提取、特征匹配、图像转换。
图像的边缘特征能够代表图像的大部分结构信息，可以克服一些图像畸变带来的影响，而且基于特征配准方法的计算量小。常用的边缘检测算子有 Sobel、LOG、Canny等。
7、图像质量评价
这些融合图像质量评价方法可分为两类：主观评价方法和客观评价方法。
主观评价方法容易受环境、观察者等因素的影响，仅依靠单个或少数观察者的图像评价结果并不可靠，只有在统计的条件下，评价结果才有意义，该方法容易实现。有五级质量尺度和五级妨碍尺（如下）。
对融合图像的定量评价方法和准则，即客观评价方法。分为全参考图像质量评价、半参考图像质量评价和无参考图像质量评价。
基于无参考图像质量评价指标：信息熵（Entropy）、空间频率 （Space Frequency）、拉普拉斯算子等。
基于有参考图像的评价指标：均方根误差( RMSE)、信噪比 SNR（Signal-to-Noise Ratio）、峰值信噪比 PSNR（Peak-Signal-to-Noise Ratio）、结构失真的图像质量评价指标UQI(Universal Image Quality Index)。
基于有参考图像的图像质量客观评价指标主要是通过参考图像与融合图像之间的差异程度的来评价融合图像的质量好坏。由于在实际运用中往往找不到参考图像，所以此类融合图像质量客观评价指标的应用会受到一定的限制。
基于源图像的评价指标：互信息（Mutual Information, MI）、结构相似度（Structural Similarity,SSIM）、加权融合质量指标（Weighted Fusion Quality Index,WFQI）、边缘保持度融合质量指标。
基于源图像的融合图像质量评价指标对应用条件要求较少，而且能够很好的检测源图像的边缘、结构等信息，其数据的准确度和可靠性相对前两类评价指标较高。
