论文阅读：Neighbor2Neighbor（2021-CVPR）
题目：Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images（CVPR-2021）
paper：https://arxiv.org/pdf/2101.02824.pdf
code： https://github.com/TaoHuang2018/Neighbor2Neighbor
论文的动机：从Noise2Noise提出，将噪声-干净图像对替换为噪声-噪声图像对，解决了大量搜集噪声-干净图像数据对的难题。但是在相同场景下，获取不同的噪声观测也具有挑战性，特别对于一些运动场景和医学图像。还有一些只在合成噪声数据上训练的网络在真实世界噪声图像上的性能不高。因此自监督去噪网络开始兴起。
BSN网络是一种只依赖噪声图像工作的自监督网络。但是存在网络训练效率低、有用信息丢失、较低的精度和沉重的计算负担等问题。
论文的主要思想：从原始噪声图像中采样得到训练图像对。是从单个噪声图像中提取两个子采样的成对图像，两个图像的相同位置上的每个元素是原始噪声图像中的相邻元素。以这种方式，假设每个像素的噪声都独立于其像素值，并且不同位置的噪声之间没有相关性，那么这两个子采样的成对噪声图像在给定原始噪声图像所对应的干净图像x条件下是满足独立性要求的。
存在的问题：对于噪声图像y上进行亚采样得到的g1(y)和g2(y)对应的两个GT存在差异。这一点违反了Noise2Noise论文中的理论。因此作者进行了一些公式推导，证明只要让这个差异趋近于0，网络学习就会逼近最优解。而采用相邻像素子采样正好能使这种差异降到最低。如图：
同时在目标函数中引入一个正则化项来解决原始噪声图像上相邻像素之间的像素GT的差异。为了稳定学习，停止g1(fθ(y))和g2(fθ(y))的梯度更新。
对应于Loss中：
实验中验证了参数γ越小，去噪结果会过渡平滑，越大去噪性能会变差。证明了正则化项充当了平滑度和噪声度之间的控制器。在合成实验中值取2，真实世界实验中值取1。
整体网络：
创新点：
提出了基于子采样的训练图像对生成策略和带有正则化项的自监督训练方案。
思考：
虽然没有使用BSN，但是其实和BSN有相同的目的，对于噪声-噪声图像对，都是要学习“自身”，又避免学习自身。结构上和B2U相似，都引入了一个不参与梯度更新的约束项。起到弥补信息的作用。
