深度学习在二维和三维超声序列中用于呼吸运动追踪的综述：以图像引导治疗为应用背景

《International Journal of Imaging Systems and Technology》：A Review of Deep Learning for Respiratory Motion Tracking in 2D and 3D Ultrasound Sequences for Image-Guided Therapy

　　本文系统综述了深度学习（DL）在呼吸运动（RIM）超声（US）跟踪中的应用，对比分析了2D和3D US的DL方法，如CNN、Siamese网络、GANs和LSTM，评估了CLUST和Ipsen等数据集上的性能，指出传统方法在噪声、阴影和变形中的不足，以及DL在提升精度和实时性方面的潜力，同时提出混合方法与多模态融合的未来方向。

　　在现代医学影像技术中，超声（US）成像因其具备实时性、高时间分辨率、成本效益、安全性和便携性，成为图像引导治疗中的重要工具。尽管传统影像技术如磁共振成像（MRI）和计算机断层扫描（CT）在某些方面具有优势，例如软组织对比度和空间分辨率，但它们通常无法满足实时处理的需求，同时存在设备昂贵、辐射暴露等问题。相比之下，超声成像不仅能够在动态组织运动中提供高帧率的图像，还具备无创性和可移动性，使其在图像引导治疗中具有独特价值。然而，超声图像也面临诸多挑战，例如斑点噪声、声影效应以及遮挡问题，这些问题对运动估计的准确性构成威胁，限制了其在复杂运动跟踪任务中的应用。因此，近年来，基于深度学习（DL）的超声运动跟踪方法逐渐受到关注，特别是在呼吸诱导运动（RIM）跟踪领域，这些方法在提高精度和鲁棒性方面展现出显著潜力。

传统的超声跟踪方法主要依赖于图像处理技术，如块匹配、特征提取、光流分析和模板匹配等。这些方法虽然在某些场景中表现良好，但它们通常对超声图像的噪声和伪影较为敏感，且在处理复杂动态运动时存在一定的局限性。例如，块匹配方法在处理高噪声图像时可能产生较大的误差，而光流算法在面对组织变形时也容易出现不稳定。此外，这些方法往往需要较长的处理时间，特别是在处理四维（4D）数据时，帧率较低，难以满足实时跟踪的要求。因此，随着深度学习技术的不断发展，越来越多的研究开始探索如何将DL应用到超声图像的运动估计中，以克服传统方法的不足。

深度学习方法在超声运动跟踪中展现出显著的优势，特别是在处理复杂运动模式和图像伪影方面。这些方法通过端到端的处理流程，能够直接从超声图像中学习并提取运动信息，从而避免了对额外硬件或手动干预的依赖。例如，卷积神经网络（CNN）在2D超声图像中被广泛用于估计组织运动，通过滑动滤波器捕捉空间特征，实现对运动的高精度预测。Siamese网络则通过比较模板图像和搜索图像之间的相似性，提供了一种无需标注的跟踪方式，但其对时间建模的依赖使得在动态场景中存在一定的局限。此外，生成对抗网络（GAN）被用于模拟组织变形过程，通过对抗训练提高运动估计的准确性，同时减少图像配准的需要。而循环神经网络（RNN）和长短期记忆网络（LSTM）则特别适用于需要时间序列建模的场景，能够捕捉运动的时序特征，提高预测的稳定性。

为了更系统地评估这些深度学习方法的性能，研究者们利用了多种标准数据集，如CLUST（Challenge on Liver Ultrasound Tracking）和Ipsen et al.的数据集。这些数据集涵盖了不同类型的超声成像模式，包括2D、3D和4D图像，并提供了丰富的标注信息，以支持模型的训练和评估。CLUST数据集包含来自患者和健康志愿者的肝脏超声序列，涵盖了多种成像设备和探头类型，确保了方法的广泛适用性。Ipsen数据集则聚焦于长期的3D肝脏超声序列，通过机械补偿技术减少呼吸引起的运动干扰。在这些数据集上，研究者们测试了各种深度学习模型，比较了它们在精度、运行时间、模型结构以及处理复杂场景的能力方面的表现。

尽管深度学习方法在超声运动跟踪中取得了显著进展，但它们仍面临一些挑战。首先，大多数深度学习模型依赖于大量标注数据进行训练，这在临床环境中往往难以实现，因为标注过程需要专业知识和大量时间。其次，部分方法在处理遮挡、出屏运动和快速变形时表现不佳，这限制了其在实际应用中的鲁棒性。此外，深度学习模型的计算复杂度较高，尤其是在处理3D数据时，可能需要高性能计算资源，如GPU加速，以满足实时性要求。因此，如何在保持高精度的同时，降低计算成本，提高模型的泛化能力，是当前研究的重要方向。

在实际临床应用中，2D和3D超声运动跟踪方法各有优势。2D方法因其快速的图像采集和较低的计算需求，适合用于需要实时反馈的介入性操作，如穿刺、消融和区域麻醉。这些操作通常要求较高的空间精度，但只要目标在成像平面内，2D跟踪即可满足需求。然而，当目标发生显著的出平面运动时，2D方法可能无法提供足够的空间信息，此时需要结合3D超声跟踪方法。3D方法能够提供更全面的运动信息，适用于需要精确三维定位的治疗场景，如图像引导放射治疗（IGRT）。然而，3D超声图像的采集和处理过程较为复杂，导致帧率较低，处理时间较长，影响了其在实时应用中的表现。

为了提升超声运动跟踪的临床适用性，研究者们正在探索多种方法。一方面，混合模型的出现为解决传统方法和深度学习方法的局限提供了新的思路。例如，将传统滤波器（如卡尔曼滤波）与深度学习模型结合，可以提高跟踪的鲁棒性，减少因图像噪声或遮挡导致的跟踪失败。另一方面，传感器融合技术也被视为一种重要的发展方向。通过将外部传感器（如加速度计、呼吸带或阻抗传感器）与超声图像结合，可以获取额外的运动信息，从而提高跟踪的准确性。尽管这些方法在其他影像模态中已有应用，但在超声图像引导治疗中的研究仍处于初步阶段。

从未来发展的角度来看，超声运动跟踪技术的进一步突破需要在多个方面进行优化。首先，需要开发更加高效的数据标注和数据增强策略，以减少对大规模标注数据的依赖，提高模型的泛化能力。其次，应探索更轻量级的网络结构，以降低计算复杂度，使其能够在临床环境中快速部署。此外，还需要结合跨模态学习和域适应技术，使模型能够在不同设备、操作者和患者之间保持一致性。最后，随着可穿戴超声设备的普及，未来的跟踪系统有望实现更长时间的连续监测和实时反馈，为复杂手术和治疗提供更精准的导航支持。

综上所述，超声运动跟踪技术正处于快速发展阶段，基于深度学习的方法在提高精度和实时性方面展现出巨大潜力。然而，为了推动其在临床中的广泛应用，还需要克服数据获取、计算效率和模型泛化等挑战。通过进一步的研究和技术创新，未来有望实现更加智能化、自动化和精准化的超声图像引导治疗，为患者带来更安全、高效的医疗体验。