DRNT2LRNet：一种基于模型的新型深度展开网络，用于高质量压缩高光谱图像重建

《Neurocirugía (English Edition)》：DRNT2LRNet: A New Model-Driven Deep Unrolling Network for High-quality Compressive Hyperspectral Image Reconstruction

　　本文提出基于张量低秩特性的深度可解释模型DRNT2LRNet，用于解决CASSI系统的超光谱图像重建问题。通过将迭代优化算法展开为神经网络，结合非线性变换模块和多尺度大核注意力机制，有效挖掘长程空间-光谱特征，并设计混合损失函数提升重建质量。实验表明该方法在KAIST、Harvard和ICVL数据集上分别优于SOTA方法0.43dB、0.8dB和2.16dB。

　　近年来，随着科学技术的不断进步，高光谱图像（Hyperspectral Image, HSI）的重建技术得到了广泛关注。HSI因其包含丰富的光谱信息，被广泛应用于遥感、目标检测与识别、医学成像以及环境监测等领域。然而，传统的HSI重建方法通常依赖于复杂的设备和长时间的扫描过程，这使得其在处理动态场景时存在一定的局限性。因此，研究者们开始探索更为高效和便捷的重建方法，其中压缩感知理论的发展为这一领域带来了新的机遇。

在这一背景下，Snapshot Compressed Imaging（SCI）技术应运而生，它能够在视频速率下实现HSI的采集，为高光谱图像的快速重建提供了良好的解决方案。作为SCI技术的一种典型应用，Coded Aperture Snapshot Spectral Imaging（CASSI）因其结构紧凑和性能优越而受到重视。CASSI系统主要由两个阶段组成：第一阶段是通过编码孔径和分光器将三维HSI信号编码为二维压缩测量；第二阶段是从这些二维测量中计算性地重建出原始的高光谱图像，这需要解决逆问题。

HSI重建过程中面临的主要挑战之一是处理被严重降质的测量数据，这些数据可能受到系统噪声和光谱压缩的影响。因此，学习HSI的内在特性比自然图像的恢复更为复杂。目前，HSI重建方法大致可以分为三类：基于模型的方法、基于深度学习的方法以及混合方法。基于模型的方法通过分析物理成像模型构建一系列手工设计的先验条件，例如稀疏性、全变分（TV）、非局部低秩先验、高斯混合先验以及Plug-and-Play（PnP）先验等。虽然这些方法在理论上较为严谨且具有高度可解释性，但手工设计的先验条件难以有效挖掘HSI复杂的空间和光谱结构，同时其泛化能力也存在不足。此外，这类方法通常需要手动调整参数，导致重建速度较慢，重建质量不够理想。

基于深度学习的方法则展现了强大的学习能力和解决逆问题的能力。这类方法可以分为两种：一种是深度非展开（Deep Non-Unrolling, DNUN）方法，另一种是深度展开（Deep Unrolling, DUN）方法。DNUN方法通过端到端的深度网络直接学习从二维压缩测量到三维HSI的逆映射，显著降低了时间复杂度并取得了较好的重建效果。然而，DNUN方法通常被视为“黑箱”模型，缺乏可解释性。相比之下，DUN方法则结合了优化算法和深度神经网络的优势，将优化算法的每一步迭代映射为深度神经网络的一层，从而具有内在的可解释性和良好的泛化能力。此外，DUN方法还继承了深度学习方法在计算效率上的优势。

尽管基于深度学习的方法在HSI重建方面取得了显著进展，但大多数方法仍然将三维HSI数据转换为二维矩阵或一维向量，这种操作严重破坏了HSI内部的空间和光谱结构。此外，现有的DUN方法虽然在一定程度上考虑了HSI的先验条件，但未能充分挖掘HSI的低秩结构特性，这是HSI重建的关键。为了克服这一问题，研究者们开始探索基于张量建模的深度学习方法，这类方法能够全面考虑HSI数据立方体中各维度之间的相关性，从而在处理HSI数据时具有天然的优势。

同时，基于深度学习的方法通常采用传统的卷积神经网络（CNN）或Transformer架构。然而，传统的卷积神经网络只能捕捉局部依赖关系，难以获取全局特征信息。尽管Transformer架构中的多头自注意力机制能够建立非局部空间特征之间的长距离依赖关系，但其计算成本会随着输入特征图像的空间分辨率增加而急剧上升，这在硬件环境上并不友好。

为了解决上述问题，本文提出了一种新的模型驱动的可解释深度网络，该网络全面考虑了HSI数据立方体的张量低秩特性，并巧妙地将CASSI成像模型约束与深度HSI先验学习整合到网络架构中。该方法结合了传统模型方法和深度学习方法的优势，能够有效提升HSI重建的性能，同时不破坏HSI内部的结构。具体来说，首先，基于CASSI的降质模型，将HSI重建的降质问题重新建模为一个张量恢复问题，该问题包含变换域张量低秩先验和深度HSI先验约束，有助于深入挖掘HSI的张量低秩特性以及空间光谱先验知识。其次，通过展开上述张量恢复模型的优化算法，设计了一个深度展开网络架构，称为DRNT2LRNet。每个子网络模块对应于优化算法的一个子问题，从而赋予每个子网络特定的物理意义。所有子网络模块都具有可解释性，类似于优化算法中的每一步。特别地，通过轻量级的Blueprint CNN网络构建了一个非线性变换域，用于学习变换域张量低秩先验。同时，开发了一个U型残差连接模块，结合多尺度和视觉注意力机制，作为深度学习的正则化模块。该模块采用多尺度大核注意力（MSLKA）和通道增强的倒残差反馈网络（CEIRFN），使得模型更加灵活。因此，可以在较低的计算压力下隐式学习长距离的空间光谱特征依赖关系。最后，所有可学习参数都可以通过HSI训练数据在数据驱动的端到端方式下自动调整到最优状态。同时，CASSI系统的降质过程被用作指导，以更好地和更快地优化可学习参数。此外，设计了一个混合损失函数，综合考虑空间和光谱保真度，进一步提升重建HSI的空间和光谱信息。

本文的主要贡献可以归纳为四个方面：第一，将基于CASSI的HSI重建建模为一个包含学习变换域低秩先验和深度空间光谱先验的张量恢复问题，充分挖掘HSI的张量低秩特性以及空间光谱结构；并且首次集成了多尺度大核卷积注意力机制。第二，提出DRNT2LRNet，一种能够通过轻量级CNN网络学习变换域张量低秩先验并确保物理可解释性的深度展开网络。其U型残差连接模块通过多尺度大核注意力（MSLKA）和通道增强的倒残差反馈网络（CEIRFN）灵活地捕捉长距离的空间光谱依赖关系，同时计算开销较小。第三，基于CASSI的降质过程，所有可学习参数都可以在数据驱动的端到端方式下自动调整到最优状态。混合损失函数专注于空间和光谱保真度，进一步提升重建质量。第四，通过在合成数据和真实HSI数据上的广泛实验，验证了DRNT2LRNet在整体性能上的优越性，其泛化能力超越了现有的最先进的方法。

本文的结构如下。第二部分介绍了相关工作。第三部分详细描述了所提出的方法。第四部分展示了详尽的实验和分析。第五部分给出了结论和未来的工作方向。