3-D Quasi-Recurrent Neural Network for Hyperspectral Image Denoising
1. 摘要
作者设计了一个 QRU3D 块来对高光谱图像进行去噪,其中的 3D 卷积负责提取空间和光谱的结构相关性,而近似循环池化函数则用来捕获光谱方向的全局相关性。
此外,作者还引入了交替方向结构,以消除单向的因果关系,并且无需额外的计算成本。
2. 方法介绍
2.1. QRU3D
QRU3D 块的结构如上图所示,包含两个主要步骤:3D 卷积和近似循环池化。其中输入 I 的大小 1∗H∗W∗B,H,W,B分别为高光谱图像的长宽和波段数。
第一步我们分别应用两个 3D 卷积到输入图像,激活函数分别为 Tanh 和 Sigmoid,得到 Z,F 两个特征图,大小都为 Cout∗H∗W∗B。
然后,我们将 Z,F 沿着光谱方向分离出 B 个 zb,fb,那么输出特征图就可以表示为:
输出特征图 H 的每个波段 hb 都由上一个波段的特征 hb−1 以及 zb 加权组成,而权重则由fb 提供。
2.2. 交替方向结构
在一个前向的 QRU3D 单元中,输出特征图 hb 只与前面波段的特征 zb 相关,而与后面波段的特征无关,这显然是不合理的。
一个很自然的想法就是引入双向结构,一层从前向后循环,一层从后向前循环,然后再将两者相加,如上图 (b) 所示,但这样会使得计算代价和内存消耗近似翻倍。
因此,作者提出了一个交替方向结构,如上图 (c) 所示。也就是每个 QRU3D 单元中的循环顺序交替改变,如果上一层是从前向后循环,下一层则是从后向前循环。这样,既没有额外的计算代价,也能在任何位置都可以捕获整个波段的依赖性。
2.3. 整体网络结构
整体的网络结构则以 QRU3D 块为基础,采取 U-Net 的基本骨架,空间分辨率先变小再逐渐恢复到输入大小,并在分辨率相同的地方引入跳跃连接。详细的每一层的参数设置则如下表所示。
3. 实验结果
可以看到,作者提出的方法不仅在去噪效果上超越了现有方法,运行时间也是最快的。
获取更多精彩,请关注「seniusen」!
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 智能桌面机器人:用.NET IoT库控制舵机并多方法播放表情
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· 新年开篇:在本地部署DeepSeek大模型实现联网增强的AI应用
· Janus Pro:DeepSeek 开源革新,多模态 AI 的未来
· 互联网不景气了那就玩玩嵌入式吧,用纯.NET开发并制作一个智能桌面机器人(三):用.NET IoT库
· 【非技术】说说2024年我都干了些啥
2019-04-21 Inception——Going deeper with convolutions