CC-Foundation：包含200,000图像对和1.2百万描述的高质量、多样化的遥感图像变化描述数据集。

2024-11-18，由北京航空航天大学创建的CCExpert模型，通过引入差异感知整合模块和大规模高质量数据集CC-Foundation，显著提升了遥感图像变化描述（RSICC）任务的性能，为动态地球过程监测提供了创新的自然语言处理和计算机视觉结合方法。

 

一、研究背景：

遥感图像变化分析是监测地球动态过程的关键技术，它依赖于比较同一地区在不同时间拍摄的图像。随着遥感和地球观测技术的进步，遥感图像变化描述（RSICC）作为一项创新方法，结合了自然语言处理和计算机视觉，生成解释双时相遥感图像语义变化的自然语言描述。

 

目前遇到的困难和挑战

1、特征对齐困难：在双时相图像特征对齐方面存在挑战，容易丢失细节信息。

3、缺乏大规模数据支持：现有的多模态大型语言模型（MLLMs）在没有全面数据支持的情况下，往往改变MLLMs的核心结构，破坏了模型内在的知识体系。

4、模型泛化能力有限：非预训练的小型模型在处理广泛和高噪声的上下文时，难以捕捉精确的语义变化。

 

二、让我们一起看一下CC-Foundation数据集

CC-Foundation是一个包含200,000图像对和1.2百万描述的高质量、多样化的遥感图像变化描述数据集。

数据集构建：

通过整合和优化多个开源数据集，利用多模态大型模型和领域专家注释进一步扩展数据集的规模和多样性。

 

数据集特点：

高质量、大规模、多样化，涵盖多种变化类型和场景，为遥感图像变化描述任务提供了丰富的数据支持。

数据集可用于继续预训练多模态大型模型，通过差异感知整合模块和三阶段训练过程，实现与预训练模型的深度融合。

 

基准测试：

在LEVIR-CC基准测试中，CCExpert模型取得了显著的性能提升，超越了先前的最先进方法。

 

 

CCExpert框架是一个创新的多模态大型模型（MLLM），专门设计用于遥感图像变化描述（Remote Sensing Image Change Captioning, RSICC）。这个框架的核心目标是生成自然语言描述，详细说明多时相遥感图像之间的表面变化，包括变化的类别、位置和动态。CCExpert框架通过以下几个关键组件实现其功能：

1. 差异感知整合模块（Difference-aware Integration Module）

这个模块是CCExpert的核心，旨在捕捉双时相图像之间的多尺度差异，并将这些差异整合到原始图像上下文中。该模块包含两个子模块：

• 差异增强子模块（Diff Expert）：独立处理双时相图像的多尺度特征，提取差异特征并注入到原始图像特征中，以增强差异特征的表达。

• 自适应调整子模块（Adaptive Adjustment）：动态调整不同尺度特征的权重，产生多尺度表示，并通过残差连接与原始特征结合，保留关键信息。

2. 高质量多样化数据集CC-Foundation

为了支持模型的持续预训练，研究团队构建了一个包含200,000图像对和120万描述的高质量数据集CC-Foundation。这个数据集整合和优化了多个开源数据集，并通过多模态大型模型和领域专家注释进一步扩展，增强了数据集的规模和多样性。

3. 三阶段训练过程

CCExpert采用三阶段训练过程，确保差异感知整合模块与预训练的多模态大型模型深度集成：

第一阶段：仅训练差异捕获和注入模块，冻结图像编码器和大型语言模型的参数。

第二阶段：解冻所有模型参数，优化语言模型对图像特征的理解和文本生成。

第三阶段：继续优化模型，以确保在特定领域数据上的最佳性能。

 

4. 大型语言模型（Large Language Model）

CCExpert使用预训练的大型语言模型（如Qwen2系列）来解码和生成描述。这个模型通过理解图像特征和生成自然语言描述来解释检测到的变化。

 

5. 项目结构和训练策略

CCExpert的架构包括图像特征提取器、差异感知整合模块、线性投影器和大型语言模型。整个过程从图像编码开始，通过差异增强模块提取差异特征，然后通过投影器将图像特征映射到文本空间，最后由大型语言模型生成描述文本。

CCExpert框架在遥感图像变化描述任务中表现出色，尤其在LEVIR-CC基准测试中取得了显著的性能提升。它在环境监测、城市规划、灾害管理等领域具有广泛的应用潜力，能够提供精确和有洞察力的描述，帮助理解动态土地覆盖变化。

 

 

三、让我们展望数据集的应用场景：

比如某个地方，最近发生了一场严重的洪水灾害。这场洪水是由持续不断的暴雨引发的，导致河流泛滥，许多地区被淹没。当地政府需要快速评估灾害的影响范围和程度，以便组织有效的救援行动。 使用CCExpert框架进行评估：

1、数据收集：

首先，使用无人机在洪水发生前后分别飞越受灾区域，拍摄高分辨率的遥感图像。

这些图像将被传输到数据分析中心，准备进行分析。

2、图像处理：

利用CCExpert框架，将洪水前后的图像输入到差异感知整合模块。

该模块会自动识别并突出显示图像中的变化区域，如被淹没的农田、道路和建筑物。

 

3、变化描述生成：

CCExpert框架的大型语言模型会根据识别出的变化生成自然语言描述。

例如，模型可能会描述：“在洪水发生后，原本的农田区域现在被水覆盖，许多房屋的屋顶可见，但周围环境已被洪水淹没。”

 

4、灾害影响评估：

根据生成的描述，分析团队可以快速评估灾害的影响范围和程度。

他们可以确定哪些地区受到了最严重的破坏，哪些地区可能需要紧急救援。

 

5、救援行动指导：

根据评估结果，救援团队可以制定救援计划。

例如，他们可能会优先派遣救援队伍到那些被洪水围困的村庄，或者向那些被淹没的农田提供紧急援助。

同时，救援团队还可以利用这些信息来规划救援路线，避开被洪水冲毁的道路。

 

6、持续监测与更新：

在救援行动进行的同时，无人机将继续飞越受灾区域，拍摄新的遥感图像。

CCExpert框架将不断更新变化描述，帮助救援团队了解灾害情况的变化，以便及时调整救援策略。

通过使用CCExpert框架，当地政府能够快速、准确地评估洪水灾害的影响，并有效地指导救援行动。这不仅加快了救援速度，还提高了救援效率，最大限度地减少了灾害带来的损失。