用于大规模单像素成像的双尺度变换器

单像素成像（SPI）是一种潜在的计算成像技术，通过解决单像素探测器捕获的少量测量值中的病态重建问题来产生图像。深度学习在SPI重构方面取得了令人瞩目的成功。然而，之前较差的重建性能和不切实际的成像模型，限制了其在现实世界中的应用。提出了一种基于Kronecker SPI模型的混合注意力变换器深度展开网络，称为HATNet，以提高真实SPI相机的成像质量。具体来说，将迭代收缩阈值算法（ISTA）的计算图展开为两个可选模块：有效张量梯度下降和混合注意力多尺度去噪。借助Kronecker SPI，梯度下降模块可以避免基于矢量化SPI的先前梯度下降模块的高计算开销。去噪模块是一种编码器-解码器架构，由用于高频和低频聚合的双尺度空间注意力和用于全局信息重新校准的信道注意力驱动。此外，构建了一个SPI原型来验证所提出方法的有效性。对合成数据和真实数据的广泛实验表明，改进的方法达到了最先进的性能。

用于大规模单像素成像的双尺度变换器改进方法的说明，如图4-23所示。

图4-23 用于大规模单像素成像的双尺度变换器改进方法的说明

在图4-23中，（a）展示了Kronecker SPI模型。如（b）所示，DUN旨在从初始化输入X0重建高偏移图像Xˆ，该图像由具有跳跃连接的多个阶段组成，每个阶段都涉及张量梯度下降（TGD）算子和U形深度去噪器。深度去噪器由改进的HATB提供动力，每个HATB都由残差双尺度空间自注意（S-SA）、前馈网络（FFN）和通道自注意力（C-SA）组成。S-SA和C-SA的结构分别如（c）和（d）所示。