《Infrared and visible image fusion methods and applications: A survey》论文笔记

Abstract

红外图像可以根据辐射差异区分目标和背景，可以全天候工作；相反，可见光图像能提供高空间分辨率下的纹理细节。所以我们可以将红外线中的热辐射信息和可见光中的详细的纹理信息融合到一张图片中。在这里，我们全面调查了关于红外线可见光图像融合的现存方法和应用。首先，细致回顾红外线可见光图像融合的方法,同时图像配准作为图像融合的前置要求将被简短的介绍。第二，我们概括了一下红外线可见光图像融合的主要应用。第三，将讨论和评估融合表现的评估指标。第四，选取了18个具有代表性的方法和9评估指标进行定性和定量的实验。最后我们总结目前红外线可见光的水平并对未来工作作出深刻的讨论和展望。

Introduction

　　图像融合是一种增强技术，其目的是将不同类型传感器获得的图像组合起来，生成鲁棒性好、信息丰富的图像以便后续的处理和决策制定。优秀融合方法的关键是高效图像信息的抽取和合适的融合规则，在此过程中不要引入人工的因素。复杂应用的出现需要关于某个特定场景的全面信息，以增强对各种条件的理解。同种类型的传感器只能获得一方面的信息，因此无法提供所需的所有信息。因此融合技术在现代应用和计算机视觉方面扮演着越来越重要的角色。

　　不同类型的图片，比如可见光、红外线，CT、MRI需要融合好的原图像。这这些类型的组合中，红外和可见光在很多方面都具有优势。首先，他们的信号来自不同的模式，从而从不同的方面提供场景信息；可见光捕获反射光，而红外图像捕获热辐射，因此，这种组合比单模态信号更能提供信息。其次，红外和可见光图像呈现出几乎所有物体固有的特征。此外，这些图像可以通过相对简单的设备获取，相比于想CT、MRI需要严格的成像技术。最后，红外图像和可见图像具有互补的特性，从而生成鲁棒且信息丰富的融合图像。可见光图像通常具有较高的空间分辨率和相当多的细节，适合于人类的视觉感知。然而，这些图像很容易受到恶劣环境的影响，如光照差、雾和其他恶劣天气的影响。然而，反应物体热辐射的红外图像能够抵抗这些干扰，但通常分辨率较低，纹理较差。可见光图像和红外图像的融合技术可以比其他融合类型在更多的领域得到应用，因为利用的图像具有无处不在和互补的特点。目标识别、检测、图像增强、监视和遥感是红外和可见光图像融合的典型应用。

　　融合算法由不同的方案发展起来，根据它们所采用的理论，一般可分为七类。多尺度变换、稀疏表示、神经网络、子空间、基于显著的方法、金字塔模型、其他方法。基于多尺度变换的图像融合方法是图像融合中最活跃的一种方法，它假设图像由不同纹理中的多个分割层来表示。这些方法将源图像分解成多个层次，用特定的规则融合相应的层，并对目标图像进行相应的重构。常用的分解和重构变换包括小波变换、金字塔变换、curvelet变换及其改进版本。

　　未完待续。