UnCapsTSR：一种基于无监督Transformer的图像超分辨率方法，用于胶囊内镜成像

《Neurocirugía (English Edition)》：UnCapsTSR: An unsupervised transformer-based image super-resolution approach for capsule endoscopy images

　　无线胶囊内镜图像超分辨率方法UnCapsTSR基于Transformer的GAN框架，提出无监督训练策略和新型BTV损失函数，解决真实LR-HR配对数据缺失问题，并通过EndoQM等新 metric验证其在KID、GIANA等数据集上的有效性，实现40%-80%的EndoQM提升。

　　无线胶囊内镜（Wireless Capsule Endoscopy, WCE）作为一种非侵入性的医学成像技术，近年来在消化道疾病诊断中发挥了重要作用。它通过将微型摄像头封装在胶囊中，使其随患者的消化道自然移动，从而捕捉到消化道内部的图像和视频。与传统的内窥镜检查相比，WCE具有无痛、无创、可广泛应用于患者等优势，但同时也面临着图像分辨率低的问题。由于胶囊设备的尺寸限制，以及无线传输带来的信号压缩，WCE所获取的图像通常具有较低的分辨率，难以清晰展示消化道的细微结构和病变特征，这在一定程度上影响了诊断的准确性。

为了改善WCE图像的分辨率，提升其在临床诊断中的应用价值，研究者们提出了多种图像超分辨率（Super-Resolution, SR）方法。这些方法旨在从低分辨率（Low-Resolution, LR）图像中重建出高分辨率（High-Resolution, HR）图像，以增强细节表现力。在传统医学图像处理领域，超分辨率技术多采用监督学习方式，即利用已知的LR-HR图像对进行训练。然而，在WCE图像处理中，由于实际临床数据中难以获得高质量的LR-HR配对样本，这种监督学习方法的应用受到限制。

基于此，本研究提出了一种全新的无监督超分辨率方法——UnCapsTSR，旨在解决WCE图像分辨率低的问题，同时避免依赖真实LR-HR配对数据。该方法基于生成对抗网络（Generative Adversarial Network, GAN）框架，结合了Transformer模型的优势，从而在不依赖真实LR-HR配对的情况下实现图像的高质量超分辨率。UnCapsTSR的主要创新点在于其独特的网络架构和损失函数设计，使得模型能够有效捕捉图像的全局和局部特征，同时减少图像中的伪影和失真。

在模型设计方面，UnCapsTSR采用了一个基于Transformer的生成器和两个判别器的结构。生成器利用Transformer的自注意力机制，能够更好地建模图像中的长距离依赖关系，从而在超分辨率过程中保留更多的细节信息。而两个判别器分别负责不同层面的图像质量评估：一个关注高频率细节，如边缘和纹理，以确保这些对诊断至关重要的特征得到保留；另一个则确保图像的整体结构和视觉一致性，从而提高重建图像的逼真度和可解释性。这种双判别器的结构不仅增强了模型的鲁棒性，还使得生成的高分辨率图像在视觉上更加自然和真实。

为了进一步提升图像的超分辨率效果，UnCapsTSR引入了一种新的损失函数——双侧总变分（Bilateral Total Variation, BTV）损失。传统的总变分（Total Variation, TV）损失主要用于减少图像中的噪声和保持边缘的清晰度，但在某些情况下可能会过度平滑图像，导致细节丢失。而BTV损失则通过在空间域和频率域之间进行平衡，既保留了图像的边缘特征，又避免了过度平滑带来的视觉失真。这种损失函数的引入，使得UnCapsTSR在超分辨率过程中能够更好地保持图像的结构连续性，从而提升其在医学图像处理中的适用性。

此外，为了评估和验证UnCapsTSR的性能，本研究还提出了一种新的无参考质量评估指标——内镜质量度量（Endoscopy Quality Metric, EndoQM）。EndoQM专门针对WCE图像的超分辨率效果进行设计，不同于传统的无参考指标（如BRISQUE、NIQE和PIQE），这些指标主要用于评估自然图像的质量。EndoQM则更注重于图像中边缘细节的保留和增强，这在医学成像中尤为重要。通过训练EndoQM模型，可以更准确地衡量不同超分辨率方法在WCE图像上的表现，从而为医学影像的临床应用提供更可靠的评估依据。

在数据集方面，本研究利用了Kvasir胶囊内镜数据集，并对其进行了一定的预处理，以去除冗余和低质量图像，以及不相关的边框像素。通过这一预处理步骤，构建了一个专门用于WCE图像超分辨率任务的新数据集。该数据集不仅提高了训练数据的质量，还增强了其在不同临床场景下的适用性。为了进一步验证UnCapsTSR的泛化能力，研究者们还在KID和GIANA两个独立的数据集上进行了实验。这些数据集并未参与模型的训练过程，因此能够更真实地反映模型在实际应用中的表现。

实验结果表明，UnCapsTSR在多个无参考质量评估指标上均优于现有的无监督超分辨率方法。例如，在BRISQUE、NIQE和PIQE等指标中，UnCapsTSR的性能得到了显著提升，同时在EndoQM指标上也取得了40%到80%的显著改进。这些结果不仅验证了UnCapsTSR在提升图像分辨率方面的有效性，还表明其在保持医学图像细节和结构连续性方面的优越性。

从技术角度来看，UnCapsTSR的提出不仅解决了WCE图像超分辨率中缺乏真实LR-HR配对数据的问题，还为医学图像处理领域提供了一种新的无监督学习方法。传统的监督学习方法依赖于大量高质量的配对数据，而在实际医疗环境中，获取这样的数据往往非常困难。因此，无监督学习方法成为一种更具实际应用价值的选择。通过利用Transformer模型的强大特征提取能力，UnCapsTSR能够在没有真实配对数据的情况下，有效提升WCE图像的分辨率，从而为医生提供更清晰的视觉信息，辅助其进行准确的诊断。

在临床应用方面，提升WCE图像的分辨率对于早期疾病检测、病变特征识别以及病情评估具有重要意义。例如，在胃肠道肿瘤筛查中，高分辨率图像能够更清晰地展示肿瘤的边界和形态特征，从而提高诊断的准确性。此外，高分辨率图像还能帮助医生更精确地评估病变区域的组织结构，为治疗方案的制定提供更可靠的信息支持。因此，UnCapsTSR的提出不仅具有理论上的创新价值，还具备重要的实际应用前景。

从方法论的角度来看，UnCapsTSR的无监督训练策略使其能够更好地适应不同临床场景下的WCE图像。由于WCE图像的采集过程受到多种因素的影响，如胶囊运动、图像压缩和环境光线变化，这些因素可能导致图像中出现不同的伪影和失真。传统的监督学习方法可能无法有效应对这些变化，而UnCapsTSR通过无监督学习，能够从大量LR图像中学习到更通用的特征表示，从而在不同情况下都能保持较好的超分辨率效果。这种泛化能力对于实际临床应用至关重要，因为医学影像数据往往具有高度的异质性和不确定性。

此外，本研究还通过t-distributed Stochastic Neighbor Embedding（t-SNE）可视化和Kernel Density Estimation（KDE）分析，探讨了不同医学图像模态（如自然图像、传统内窥镜图像和WCE图像）在特征空间中的分布差异。这些分析有助于理解WCE图像与其他医学图像在结构和特征上的异同，从而为后续的医学图像处理方法提供理论依据。通过这些分析，研究者们能够更准确地调整模型参数，优化超分辨率效果，使其更符合医学图像的实际需求。

综上所述，UnCapsTSR作为一种全新的无监督超分辨率方法，不仅解决了WCE图像处理中缺乏真实LR-HR配对数据的问题，还通过引入双侧总变分损失和新的无参考质量评估指标，提升了图像的视觉质量和诊断价值。该方法在多个独立数据集上的实验结果表明，其在提升WCE图像分辨率方面具有显著优势，为医学图像处理领域提供了一种新的解决方案。未来，随着医学影像数据的不断积累和深度学习技术的进一步发展，UnCapsTSR有望在更多临床场景中得到应用，为提高消化道疾病的诊断效率和准确性做出贡献。