遥感图像处理笔记之【多模态遥感图像综述】
遥感图像处理学习（9）之【多模态遥感图像综述】
前言
遥感系列第9篇。遥感图像处理方向的学习者可以参考或者复刻
本文初编辑于2024年1月15日
本文再编辑于2024年1月17日：附上“对现有工作分类”一节的补充文字说明
2024年1月25日搬运至本人博客园平台
总结：为什么要做这么冷的课题
论文标题：From Single- to Multi-modal Remote Sensing Imagery Interpretation: A Survey and Taxonomy
论文地址：https://link.springer.com/article/10.1007/s11432-022-3588-0
作者在文末表示，这是第一篇讲述多模态遥感图像发展的概述，而该论文发布于2023年4月。
好棒啊，米娜桑。这是一个很新鲜的研究领域，一定有很多前人没有探索过的领域
部分专有名词翻译参考文章：
【论文阅读：multimodal remote sensing survey 遥感多模态综述】
一开始就是看的这个中文翻译删减版，还以为中文看的能轻松点，但是专有名词太多，看不太懂。于是去找原论文看，结果原论文更是全程说书，看的头大。
这篇是极度精简版，有看不懂的地方直接去原论文找对应位置的去看吧。
本文提出了对目前多模态遥感图像任务的一种分类方法。
本文将MRSII（Multi-modal Remote Sensing Imagery Interpretation）面临的挑战进行了5分类,分别是：
Alignment（配准）
Fusion（融合）
Representation（重建）
Translation（模态转换）
Co-learning（协同学习）
后面是对5大分类的各自的小分类
Alignment（配准）
Alignment（配准）分为Spatial alignment（空间配准）、Temporal alignment（时间配准）和Cross-element alignment（跨元素配准）3个方式。
空间配准，是图像配准的主要过程，有无监督方法、半监督方法和监督方法。文章中提到随着深度学习的发展，监督方法成为了Spatial alignment的主流方法。
时间配准，致力于多模态图像对中的元素对齐，其网络结构分为对称结构和非对称结构。
跨元素配准，致力于遥感图像模态和非遥感图像模态的对齐，根据其配准目的，分为场景增强和人机交互。
Fusion（融合）
Fusion（融合）分为像素级融合、特征级融合和决策级融合，这里是级别的分类，而不是方法的分类。
文章中对级别的分类没有讲得太详细，我的下一篇文章会结合另一篇文章讲级别的分类。
Fusion（融合）分为Homogeneous Data Fusion（同构数据融合）和Heterogeneous Data Fusion（异构数据融合），这里是方法的分类。
同构数据融合，分为Spatial reference（空间参照）和Spatio-temporal reference（时空参照）两个方法。
空间参照，方法有Panchromatic sharpening（全色锐化）、Linear optimization（线性优化）和deep learning-based（基于深度学习）三种算法类型。
时空参照，是空间参照方法的延申。
Heterogeneous Data Fusion（异构数据融合）分为Feature stacking-based（基于特征堆叠）、Subspace-based（基于子空间）和Deep learning-based（基于深度学习）三个方法。
文章总结，同构数据融合技术成熟，容易实现，异构数据融合有很多难点。
Representation（重建）
Representation（重建）分为Joint Representation（联合表示）、Coordinated Representation（协同表示）和Encoder-decoder Representation（编码器-解码器表示）。
联合表示，将不同的模态的特征映射到同一个表征空间。该方法适合在不同模态的数据平衡时使用。
协同表示，在不同模态单独进行学习，但是用统一限制来协调。该方法适合在某个模态数据缺失时使用。
编码器-解码器表示，将不同的模态转换成同一种模态，再映射到同一个表征空间。该方法适合在数据不平衡时使用。
Translation（模态转换）
Translation（模态转换）分为Cross-sensor translation（跨传感器转换）和Cross-element translation（跨元素转换）。
这里太抽象了，我也看不懂。
Co-learning（协同学习）
Co-learning（协同学习）分为Transfer learning（迁移学习）、Co-training（协同训练）和Few-shot learning（小样本学习）。
迁移学习，是最常用的方法，在大规模自然语言场景训练预训练模型，并将该预训练模型作为解释模型的骨干。
协同训练和小样本学习没有详细介绍。
文章总结，协同学习用于数据源中目标数据缺失和区域缺失两种情况。
对现有工作的分类
这里算是文章的重点部分
文章在前面讲解了完整的一套分类方式，而在这里文章以自己提出的分类方法，对MRSII数据集和相关工作进行分类
前面造牛刀，这里杀鸡
以Alignment（配准）作为一级分类，以实现的Task（任务）作为二级分类，后面再附上不同的论文和对应的数据集
多模态遥感图像技术应用
这里简单提了一下相关应用，内容不多也不是重点，简单提一嘴吧。
现有的应用：土地覆盖分类、城市规划、农业和生态学。
未来的应用方向：多模态图像恢复、三维重建、土地覆盖和检测、异构图像长时变化检测、场景预测和补充、跨元素分析。
