遥感图像处理笔记之【图像融合综述】
遥感图像处理学习（10）之【多模态图像融合综述】
前言
遥感系列第10篇。遥感图像处理方向的学习者可以参考或者复刻
本文初编辑于2024年1月16日
本文再编辑于2024年1月17日：修改了论文域名地址
2024年1月25日搬运至本人博客园平台
总结：多模态遥感图像相关的中文综述，真是少的可怜
文章标题：以图像为主的多模态感知与多源融合技术发展及应用综述
文章地址：https://kns.cnki.net/kcms2/article/abstract?v=_NV5_o307Bx7GL1DEDyyOhFK8bl94XsenRB5rtZvavZUZCiIpUu_Gl3MoHkhyB-JNQ52WFQ4V0GRgK73_4mEvLQUV1I-4Zh-RKa8AT6CD3BU4mjnXSLkF5bcgN_mTJXzWfrT5GTQwAk=&uniplatform=NZKPT&language=CHS
本文总结了多模态感知和多源融合技术。
中文综述，简单易懂
1.常见的成像方式
热成像
红外热成像(简称“热成像”)探测的是目标物体自身产生的热辐射。红外照相机能够利用物体的这种辐射性能来测量物体表面温度场，观察到物体外形轮廓或表面热分布。
高光谱成像
高光谱遥感成像(简称“高光谱成像”)是指利用很多很窄的电磁波波段 (通常<10 nm)从物体获取有关数据。高光谱图像集样本的图像信息与光谱信息于一身，图像信息可以反映样本的大小、形状、缺陷等外部特征，光谱信息能充分反映样品内部的物理结构、化学成分的差异。
偏振成像
平行光源照射在被测物表面形成光的反射，反射光透过偏振片后，相机的图像传感器可从多个方向采集到图像数据，最终结合成偏振度图像。偏振成像能获得图像上每一点的偏振信息
SAR
合成孔径雷达SAR（Synthetic Aperture Radar）
SAR系统观测到的是电磁波入射地球表面后反射（后向散射）的雷达脉冲的强度和相位信息，能够反映地物的表面特性和介电性质。
LiDAR
LiDAR是使用激光脉冲来测量目标与传感器之间距离的系统，采用激光雷达扫描获得点云数据。
2.多源融合技术
| 融合方法 | 典型算法 |
|---|---|
| 像素级融合：空域融合 | 主成分分析法PCA、高通滤波融合算法、IHS变换融合算法 |
| 像素级融合：变换域融合 | 非下采样轮廓变换NSCT、非下采样剪切波变换NSST |
| 特征级融合 | 卷积神经网络CNN、脉冲耦合神经网络PCNN、稀疏表示SR |
| 决策级融合 | 贝叶斯理论、D-S证据理论 |
| 混合型融合 | 参数自适应PCNN+卷积稀疏表示CSR、CSR+NSCT、NSST+PCNN、 鲁棒性主成分分析Robust PCA+PCNN、SR+小波变换WT |
像素级融合
将融合图像的像素点一一匹配，然后在像素层次对融合图像的信息进行综合处理。该方法没有细节损失，故融合图像的清晰度较高。
像素级融合：空域融合
权值矩阵对图像像素进行加权计算，权值由人们主观决定。该方法融合速度快，适合实时处理。
像素级融合：变换域融合
该方法有较高的特征提取精度，融合效果好，但是融合所需时间较长，难以满足实时应用的需求。
特征级融合
该方法从原始影像中提取特征信息(如边缘、形状、轮廓、角、纹理、相似区域等),然后对其特定特征进行综合分析和处理，生成包含特征信息的融合图像。该方法相较于像素级融合，实时性得到了提升，且对图像配准的要求较低。
决策级融合
该方法输入为原始图像融合后的特征信息，输出为目标的决策结果。处理时间短，所需数据量少，抗噪声干扰能力强，但是需要复杂的预处理
混合型融合方法
通常混合型融合方法效果优于单一融合方法。
3.尝试过的图像融合方法
文章总结了前人的相关工作，包括但不限于：
热成像与红外图像的融合
高光谱图像与全色图像融合
高光谱图像与LiDAR数据融合
红外光强图像与偏振图像的融合
SAR与多光谱图像的融合
LiDAR点云和RGB图像图像的融合
