论文复现01. RestainNet

论文名称：RestainNet: a self-supervised digital re-stainer for stain normalization

arxiv: https://arxiv.org/pdf/2202.13804.pdf

论文的核心内容：自监督网络，把 ”灰度图“ 重新上色成HE染色的效果

训练阶段

　　在训练阶段，将原始的RGB图像分别提取Lab空间的L通道和HE染色矩阵，LHE作为训练数据送入网络，网络结构不需要特别复杂，原文中提到UNet

可以作为再染色器的网络结构，同时具有有限编码数的自动编码解码器 (论文用的是两个下采样和两个上采样) 同样可以满足任务需求。

训练损失共分为三部分，分别为

1. 输入图像和重染色图像之间的损失  

2. 输入图像Lab三通道与输出结果三通道的损失

3. 输入图像和重染色图像分解出的HE矩阵的损失

整个损失被定义为

原文中三个系数分别设置为0.1、1、1

训练细节：Adam优化器，β = 0.5，lr = 0.0002，decay = 0.6

验证阶段

　　　　　　

验证阶段，需要将模型输出的L通道替换为输入图像的L通道，保证图像的原始结构不被改变

 

 

Tips：

1. 为什么使用Lab颜色空间

Lab颜色空间（Lab color space）是颜色-对立空间，其最大的优势为色域宽阔，弥补了RGB彩色模型分布不均的问题；

其中维度L表示亮度，a、b表示颜色对立维度，其中+a为红，-b为蓝(一定程度上能对应HE染色的红蓝)。

2. 论文中没有明确指出HE染色矩阵拆分的方法，可能是提到的将RGB拆分成H、E和DAB？

3. 复现所使用的HE染色矩阵拆分方法是vahadane,拆分出来的HE图像是3通道的彩色图像，送入网络的是HE图像的灰度图,

拆分耗时稍长，每张图像大概需要1s多一点，训练过程相当费时