2023-8-24 小样本迁移分析 2023人工智能大会青年科学家论坛

小样本迁移分析 | 2023人工智能大会青年科学家论坛

何良华 同济大学

研究背景

• 人类医疗数据总量40万亿GB（2020年）
• 2017年深度神经网络的大数据分析框架成为大数据分析性能的基本保障

同等层级小样本分析框架

• 信息分层处理（逐层组织，语义粒度）
• 特征选择性注意（任务导向，主管相关）
• 信息先验性建模（任务相似，数据相似）
• 迁移学习：利用现有标注数据，缓解无标注数据中的误差
  • 数据：相同任务模型，不同输入空间和边缘分布
  • 任务：相同数据分布，不同输出空间
  • 模型：相同任务，不同的模型结构

基于迁移学习的小样本分析

• 基于域对抗训练的神经网络

  • 提出域自适应概念，迁移学习在深度学习框架下缺少分布差异度量方法
  • 踢出了标签预测损失+预判别损失的度量分布差异建模方法，提升了域迁移的效果

• 无监督学习最大化域对抗

  • 迁移学习忽略任务相关信息
  • 提出了基于任务决策边界的度量方法，补充任务相关信息

• 域适应最优传输

  • 将最优传输定理引入迁移学习方法中，并分析其关联性

• self-ensembling for visual domain adapting

  • 针对深度学习模型对无标记数据存在较强泛化性的特性，挑选容易学习的小样本
  • 提出自主学习的迁移方法，通过待在学习对小样本的伪标签优化

• Rectifying Pseduo label leadning via uncertainty estimation for domain adaptice semantic segmentation

  • 迁移学习在语义分割中使用自主学习时存在噪声
  • 提出了基于不确定性估计的自主学习方法，避免噪声样本的影响

• Synergistic image and feature adaptin

  • 针对医学图形分割任务重图像来自不同模型的问题
  • 提出了像素和特征层面学习的方法

• 联邦学习

  • 针对医学图像分割来源数据不同和数据隐私的问题
  • 提出使用联邦学习的概念

• 挑战：

  1. 迁移学习中的误差上界研究
  2. 迁移学习中的分布度量研究
  3. 迁移学习中的自主学习研究
  4. 迁移学习中的复杂任务研究

• 解决方法

  • 分布差异度量不准确：不能充分刻画不同分布之间的差异和关联性（域适应）
  • 负迁移现象：错误为标签在训练过程中渐进的降低模型性能（自主学习）
  • 目标任务欠适配：预训练模型的代理任务和目标差距过大（视觉文本预训练）