BE_SSL
目前的SSL方法一般采用判别方法和重构方法(discriminative methods and reconstruction methods),典型的判别方法包括旋转[3]、魔方[20]和对比学习[14](rotating [3], RubikCube [20] and contrastive learning),其实还是主要从自然图像中得到的想法。重建方法,比如Genesis [19] and PCRL,目前重建方法在医学图像上的性能要普遍优于判别方法。
当前的SSL普遍都忽视了groundTrue的信息,为了对边界加以利用,此论文提出了一种特殊的超体素,这种超体素覆盖了基本上全部的groundtruth的边界特征,然后为了进一步的实现对不同结构的捕捉,论文提出了一种图像配准作为自监督代理任务,与超体素不同,图像配准过程中匹配组织和器官的对齐必然涉及语义感知边界信息
为了实现上面的边界增强,论文提出了一种双分支结构,引入了一个共享编码器和独立解码器的两分支网络,第一个是超体素分支,另一种是图像配准分支,超体素分支生成超体素来实现超分割,图像配准分支将输入体变成图谱,两个分支被迫共享相同的编码器,试图让编码器捕获图像的边界和布局信息。在测试时,考虑到超体素分支与分割的关系更密切,采用其解码器进行进一步微调。
图2给出了BE-SSL的总体框架,由两个分支组成,超体素分支和图像配准分支,具有一个共享的encoderE。超体素分支使用编码器E和解码器Dsv,学习将输入体分割成超体素。图像配准分支使用编码器E和解码器Dreg学习将输入卷注册到选定的图集。
1、超参数分支
在将超体素转换为边界的时候,可能会出现边界又薄又窄的情况,所以,作者提出了一种距离变换图,它不仅会判断体素是否在边界上,还会提供到最近边界的距离
将超体素s转换为距离变换图t的流程图如图3所示。对于感兴趣的超体素中的每一个体素,其在距离变换图中的对应值计算为:
其中p和q是体素的坐标,G是感兴趣的超体素,Gin和∂G分别是G边界内和边界上的坐标集,||p−q||2是坐标p和q之间的欧氏距离。为了使网络学会嵌入边界信息,我们将距离变换图作为重建的目标。重建距离变换图的一个优点是,通过将其表述为逐体素回归问题,每个体素都有助于提供边界信息。以距离变换图t为监督,通过最小化均方误差(MSE)损失来优化超体素分支。表示网络的预测为t^,输入卷的空间为Ω。MSE损失公式如下:
2、图像配准分支
作用是为了加强边界标记
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 25岁的心里话
· 闲置电脑爆改个人服务器(超详细) #公网映射 #Vmware虚拟网络编辑器
· 零经验选手,Compose 一天开发一款小游戏!
· 通过 API 将Deepseek响应流式内容输出到前端
· AI Agent开发,如何调用三方的API Function,是通过提示词来发起调用的吗