CTNet：一种交叉 Transformer 的图像去噪方法
前言 深度卷积神经网络 (Convolutional Neural Networks, CNNs) 依赖前向传播和反向传播获得显著的图像去噪性能。但如何通过 CNNs 获取有效的结构信息解决复杂场景的图像去噪问题是关键。作者们提出了一种交叉 Transformer 去噪卷积神经网络 (Cross Transformer denoising CNN, CTNet)用于获得复杂场景下清晰图像。
本方法包括三部分来抑制噪声：串行块、并行块和残差块 。串行块使用增强的残差架构深入搜索图像的结构信息以提高图像去噪性能。并行块使用三个异构网络来实现多层特征的多重交互来防止关键信息的丢失和增强去噪模型对复杂场景的适应性。通过交互Transformer以深度和广度搜索方式增强像素特征之间关系，提高图像去噪效果。最后使用残差块来重建图像。
本文转载自我爱计算机视觉
仅用于学术分享，若侵权请联系删除
欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。
【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线!!
- 作者：田春伟，郑梦华，左旺孟，张师超，张艳宁，林嘉文
- 单位：西北工业大学、空天地海一体化大数据应用技术国家工程实验室、哈尔滨工业大学、中南大学、台湾国立清华大学
- 论文题目：A cross Transformer for image denoising
- 论文链接：https://arxiv.org/abs/2310.10408
- 项目链接：https://github.com/hellloxiaotian/CTNet
主要贡献：
- 采用深度和广度搜索以串并行方式来获得更多的结构信息，提高图像去噪性能。
- 利用三个并行异构网络实现多层特征交互，增强不同网络间的关系，以提高针去噪网络对复杂场景的适应性。
- 交叉 Transformer 技术可以根据像素关系提取显著性特征，从而优化去噪效果。
方法
网络结构如图1所示：
实验
本文提出的方法在Set12，BSD68，Urban100，CBSD68，Kodak24，McMaster，CC，SIDD和Mayo这九个基准数据上超过了很多流行的方法，如：DnCNN、ADNet和IPT等。更多的结构如表1到表8：
此外，本文也制作了4组可视化结果来验证本文提出的方法的有效性，如图2-图5所示：
结论
在本文中，作者们提出了一种交叉Transformer去噪卷积神经网络（CTNet）来实现图像去噪。
本方法包括三部分来抑制噪声：串行块、并行块和残差块。串行模块通过深度搜索引导增强的残差架构来获得更准确的结构信息。避免关键信息的损失，并行模块根据广度搜索的思想设计了三个并行的异构网络，实现了特征之间的多重交互，提取了更丰富的细节信息。
此外，Transformer机制被嵌入到串行模块和并行模块中，以有效地提取互补的显著性信息来去除噪声。最后，使用残差块来重建清晰的图像。
根据大量的实验分析，所提出的方法非常适合复杂场景的图像去噪。它不仅适用于移动数字设备，而且对医疗成像设备也很有用。此外，作者们将在未来的工作中研究没有参照图像的图像去噪任务。
欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。
【技术文档】《从零搭建pytorch模型教程》122页PDF下载
QQ交流群：470899183。群内有大佬负责解答大家的日常学习、科研、代码问题。
其它文章
LSKA注意力 | 重新思考和设计大卷积核注意力，性能优于ConvNeXt、SWin、RepLKNet以及VAN
CVPR 2023 | TinyMIM：微软亚洲研究院用知识蒸馏改进小型ViT
ICCV2023|涨点神器！目标检测蒸馏学习新方法，浙大、海康威视等提出
ICCV 2023 Oral | 突破性图像融合与分割研究：全时多模态基准与多交互特征学习
HDRUNet | 深圳先进院董超团队提出带降噪与反量化功能的单帧HDR重建算法
南科大提出ORCTrack | 解决DeepSORT等跟踪方法的遮挡问题，即插即用真的很香
1800亿参数，世界顶级开源大模型Falcon官宣！碾压LLaMA 2，性能直逼GPT-4
SAM-Med2D：打破自然图像与医学图像的领域鸿沟，医疗版 SAM 开源了！
GhostSR|针对图像超分的特征冗余，华为诺亚&北大联合提出GhostSR
Meta推出像素级动作追踪模型，简易版在线可玩 | GitHub 1.4K星
CSUNet | 完美缝合Transformer和CNN，性能达到UNet家族的巅峰！
