论文阅读：ISCL（2021-TMI）

ISCL（2021-TMI）

ISCL: Interdependent Self-Cooperative Learning for Unpaired Image Denoising

论文下载地址：https://arxiv.org/abs/2102.09858

代码： ISCL: Official Tensorflow implementation of ISCL (github.com)

摘要

随着自监督学习的进步，基于深度学习的图像去噪不再需要成对的干净噪声数据。然而，现有的盲去噪方法仍然需要考虑噪声特性，如零均值噪声分布和像素级噪声信号独立性；这阻碍了该方法在医学领域的广泛应用。另一方面，非成对学习可以克服与噪声特性假设相关的限制，这使得在真实场景中收集训练数据更加可行。在本文中，提出了一种新的图像去噪方案，即互依自合作学习（ISCL），它通过将循环对抗学习与自监督残差学习相结合来利用非配对学习。与现有的依赖于不同领域中匹配数据分布的非成对图像去噪方法不同，ISCL中的两种体系结构针对不同的任务而设计，它们相互补充，促进了学习过程。为了评估所提方法的性能，在各种生物医学图像退化场景中进行了大量实验，例如电子显微镜（EM）设备物理特性引起的噪声（胶片和充电噪声），以及低剂量计算机断层扫描（CT）中发现的结构噪声。

背景

1. 现有的盲去噪方法仍然需要考虑噪声特性，如零均值噪声分布和噪声信号独立性，在非零平均噪声情况下会引入不正确的亮度偏移。阻碍盲去噪方法的广泛应用。

2. 有的网络由清晰图像和伪噪声对图像训练，其中伪噪声图像是通过生成模型自动生成。然而，他们仅使用简单（弱）生成模型从示例中学习噪声分布，这对于非常规噪声是不够的。

创新

1. 通过相互依赖的自合作学习解决问题：多个域间映射函数以合作方式一起训练，这在无监督训练中起到了更强的约束作用。

2. 将循环对抗学习与自监督残差学习相结合，两者相互补充，通过协作学习自相关的提高性能，促进了学习过程。

网络

 构造了五个深度神经网络，生成器F和G、鉴别器DX和DY以及噪声提取器H，以训练ISCL去噪器

网络的中心思想：

网络架构是在CycleGANFx可能映射的空间会很宽，对抗损失不足以训练鉴别器从噪声样本中生成干净样本。因此 F和 N。通过联合、 N三个域之间的转换，将和优化为双射函数，从而提高了网络去噪的性能。

相比于CycleGAN的不同之处：

1. Bypass-Consistency

如图2中的(b)所示，通过增加了噪声域N，所以X->Y->X的路径又增加了一条X->N->Y->X。

 由循环一致性和旁路一致性组成的嵌套循环一致性：

 循环一致性损失不能保证F和G在收敛厚都是双射函数，增加内射函数H来构建旁路一致性

 旁路一致性损失促使两个映射函数F和H生成的两个输出彼此相似。

2. Boosting Discriminators

如图2中的(c)所示，鉴别器DX和DY仅依赖于F和G生成的假样本。为了提高鉴别器的能力，H生成的伪样本也具有合作学习的优势。提出了一个额外的增强损失，以提高鉴别器区分伪样本的能力。

 Lbst提高了区分使用H(x)生成的伪干净y和伪噪声x的能力。

鉴别器由发生器和噪声提取器的输出与实际未配对数据相互依赖地优化。

3. Pseudo-Noise Label

如图2中的(d)所示 ，从CycleGAN构造一个伪噪声标签来训练噪声 ，在下一步中，噪声提取器H将协助CycleGAN的训练以提高性能。

使用该伪噪声标签，可以通过以下损失优化映射函数H ：

 

 基于自我监督的自残差学习导致稳定收敛和性能改善，类似于合作教学方案