MLDCGAN：一种多模态潜在扩散条件生成对抗网络（GAN）模型，用于加速并提高放疗计划中MRI-CT图像合成的保真度

《Knowledge-Based Systems》：MLDCGAN: A multimodal latent diffusion conditioned GAN model for accelerated and high-fidelity MRI-CT synthesis in radiotherapy planning

　　本文提出MLDCGAN模型，通过改进扩散框架和融合多模态MRI信息，解决传统MRI-CT合成方法存在的生成速度慢、多模态信息利用不足及临床验证不足等问题，显著提升合成CT图像质量与结构一致性，并验证其在放疗剂量计算中的可靠性。

　　在现代医学影像技术中，磁共振成像（MRI）因其在软组织对比度方面的卓越表现而备受关注。然而，MRI在放射治疗中无法直接提供电子密度信息，这使得其在临床应用中面临一定的局限性。通常情况下，为了实现基于MRI的放射治疗，需要通过MRI-CT图像配准和融合的方式获取CT图像。尽管这一过程能够提供必要的电子密度数据，但其耗时且容易出错，影响了治疗的效率和准确性。因此，研究者们致力于开发一种能够在不依赖CT的情况下，通过MRI直接生成高质量CT图像的技术，即合成CT（sCT）。

当前，合成CT技术主要依赖于生成对抗网络（GAN）和扩散模型等方法。这些方法虽然在一定程度上解决了MRI与CT之间的转换问题，但在实际应用中仍然存在诸多挑战。例如，基于GAN的方法在训练过程中需要同时优化生成器和判别器，这可能导致训练不稳定、生成图像中出现不合理的结构以及模式崩溃等问题。此外，基于扩散模型的方法虽然在训练过程中避免了这些问题，但由于其迭代的逆向去噪过程，需要大量的采样步骤才能逐步恢复清晰图像，这导致了较长的推理时间，影响了实时临床决策的可行性。

为了解决上述问题，本文提出了一种新的多模态潜在扩散条件GAN模型（MLDCGAN），旨在平衡计算复杂性与图像生成质量。MLDCGAN通过引入非参数非高斯的复杂去噪分布，有效减少了去噪过程中的采样步骤，从而加快了模型的训练和推理速度。同时，该模型利用预训练的自动编码器将图像从像素空间压缩到潜在空间，进一步提高了推理效率。此外，为了充分利用多模态MRI信息，MLDCGAN设计了一个局部细化条件生成器，该生成器可以接受T1加权（T1W）、T2加权（T2W）和分割掩膜（Mask）等多模态输入。通过设计多序列融合模块（MFB）和增强交叉注意力模块（ECAB），该模型能够自适应地融合不同模态的特征，提高生成图像的结构一致性和细节保真度。

为了确保合成图像的感知质量和临床准确性，MLDCGAN还引入了内容损失和风格损失的联合优化机制。这一机制不仅保证了数值上的准确性，还加强了在多模态信息指导下的结构一致性，提升了生成图像的视觉质量和临床适用性。通过在多个公开和私有数据集上的实验验证，MLDCGAN在生成图像质量和推理速度方面均优于现有的最先进的方法。主观评价结果显示，由MLDCGAN生成的合成CT图像在关键解剖结构清晰度和整体质量方面与真实CT图像无显著差异（P > 0.05）。进一步的临床目标勾勒和剂量分布评估也表明，合成CT能够保留良好的解剖特征，并提供与真实CT一致的剂量分布，从而确保放射治疗计划中的剂量计算可靠性。

在实际临床应用中，MRI和CT图像的融合是实现精准放疗的重要环节。然而，传统的融合方法往往依赖于手动分割、配准和特征提取，这不仅增加了操作的复杂性，还限制了模型对复杂非线性关系和个体差异的学习能力，从而影响了其临床适用性。为了克服这些限制，近年来研究者们逐渐转向基于深度学习的方法，尤其是生成对抗网络和扩散模型。这些方法通过学习MRI和CT之间的映射关系，能够在不依赖真实CT的情况下生成高质量的合成CT图像。

尽管基于GAN的方法在生成图像质量方面表现出色，但其训练过程中的不稳定性仍然是一个主要问题。相比之下，扩散模型因其非对抗的训练策略，避免了模式崩溃和训练不稳定等问题，且需要的超参数调整较少，具有更清晰的分析原理和更简单的训练流程。因此，扩散模型在计算机视觉领域取得了显著进展。然而，在放射治疗MRI-CT合成任务中，仍然存在两个主要的临床问题：1）传统扩散模型框架的固有缺陷导致逆向去噪过程需要大量的采样步骤，从而显著延长了推理时间，这使得合成CT图像的生成速度无法满足实际临床需求。2）当前基于扩散模型的合成CT研究在模态信息的利用方面存在局限，通常仅依赖于特定的MRI序列来生成合成CT图像，而临床实践中多序列MRI扫描提供了互补的解剖和病理信息。例如，T1W图像擅长显示脂肪和水，T2W图像对水肿具有较高的敏感性，而分割掩膜则可以提供特定区域的边界信息。如果不能充分整合和利用这些多模态信息，将导致合成图像在细节恢复和不同组织类型的准确区分方面存在显著不足，特别是软组织与骨骼的交界处以及异质性病变区域，直接影响了合成CT图像在放疗计划中的电子密度分布表示，从而限制了合成CT图像的整体质量、病变区域勾勒的精确性和临床适用性。

为了解决上述问题，本文提出了一种新的多模态潜在扩散条件GAN模型（MLDCGAN），旨在提升MRI-CT合成的效率和准确性。该模型的主要贡献包括：1）为了解决传统扩散模型逆向去噪过程需要大量采样步骤的问题，本文设计了一种基于条件GAN的非参数非高斯复杂去噪分布。这种方法通过引入多模态分布来建模原始去噪分布，实现了大步长去噪，加快了模型的训练和推理过程。此外，利用预训练的自动编码器将图像从像素空间压缩到潜在空间，进一步提高了推理效率。2）为了解决传统扩散模型在多模态信息利用方面的不足，本文提出了一种局部细化条件生成器，该生成器能够接受T1W、T2W和分割掩膜等多模态输入。通过设计多序列融合模块（MFB）和增强交叉注意力模块（ECAB），该模型能够自适应地融合不同模态的特征，从而提高生成图像的结构一致性和细节保真度。3）为了解决当前生成方法在解剖结构还原和感知质量方面的不足，本文提出了一种基于内容损失和风格损失的联合优化机制，以确保数值上的准确性，同时加强在多模态信息指导下的结构一致性和细节还原，从而提升生成图像的视觉质量和临床适用性。4）通过与当前最先进的MRI-CT合成方法进行广泛的定量和定性比较，实验结果表明本文提出的模型在生成图像质量方面具有显著优势，为放疗计划提供了更可靠的图像支持。

在本文的后续部分，第二部分详细介绍了相关工作，第三部分深入探讨了本文提出的框架，第四部分详细展示了实验结果，第五部分讨论了相关方法的后验分布建模技术，第六部分提供了全面的结论和讨论。此外，本文还包含了伦理声明、作者贡献声明、竞争利益声明以及致谢部分，以确保研究的透明性和合规性。

本研究的数据集包括公开可用的Gold Atlas数据集，该数据集包含19名直肠癌和前列腺癌患者的T1W、T2W和CT图像，这些图像由瑞典的三个不同部门收集。此外，本文还使用了一个私有数据集，该数据集包含2021年10月至2024年9月期间，南京医科大学第四附属医院和南京大学医学院的15名直肠癌和前列腺癌患者的图像。这些数据集为评估MLDCGAN的性能提供了充分的基础。

在视觉演示部分，图5展示了七种算法（包括CycleGAN、ADCycleGAN、RTCGAN、DDPM、MGDGAN、MC-IDDPM和本文提出的MLDCGAN）在盆腔区域患者的合成结果比较。这些患者从左到右排列，研究者选择了包括股骨头、尾骨、髂骨、腹主动脉区域、耻骨和关节腔内的股骨头等解剖结构进行分析。从放大图像可以看出，比较算法在合成图像中表现出较多的噪声和不一致，而MLDCGAN生成的图像在结构一致性、细节保真度和整体质量方面均表现出色。

在讨论部分，本文分析了当前MRI-CT合成中基于扩散模型的方法所面临的挑战。这些方法虽然在生成图像质量方面具有优势，但在生成速度和多模态信息利用方面仍存在不足。为了克服这些问题，本文提出的MLDCGAN框架在计算复杂性与图像生成质量之间进行了平衡。通过引入非参数非高斯的复杂去噪分布，该模型能够有效减少去噪过程中的采样步骤，提高推理速度。同时，通过设计多序列融合模块和增强交叉注意力模块，该模型能够充分利用多模态MRI信息，提高生成图像的结构一致性和细节保真度。此外，通过联合优化内容损失和风格损失，该模型能够在保持数值准确性的同时，提高生成图像的视觉质量和临床适用性。

在结论部分，本文总结了MLDCGAN模型在MRI-CT合成中的优势和应用前景。通过在多个公开和私有数据集上的实验验证，MLDCGAN在生成图像质量和推理速度方面均优于现有的最先进的方法。主观评价结果显示，由MLDCGAN生成的合成CT图像在关键解剖结构清晰度和整体质量方面与真实CT图像无显著差异（P > 0.05）。进一步的临床目标勾勒和剂量分布评估也表明，合成CT能够保留良好的解剖特征，并提供与真实CT一致的剂量分布，从而确保放射治疗计划中的剂量计算可靠性。因此，本文提出的MLDCGAN模型为实现基于MRI的放疗提供了更加可靠和高效的技术基础，有望帮助临床医生制定更加精准的放疗计划，从而在未来的临床实践中提高治疗效果。

在伦理声明部分，本文的作者对确保研究的准确性和完整性负有责任。作者承诺对所有涉及研究准确性和完整性的疑问进行适当调查和解决。本研究遵循《赫尔辛基宣言》（2013年修订版）的规定，并已获得相关伦理委员会的批准。

在作者贡献声明部分，本文的作者分别对研究的不同方面做出了贡献。Can Hu负责正式分析、数据管理、概念化；Chunchao Xia负责概念化；Chuanbing Wang负责正式分析；Xiayu Hang负责调查；Xiuhan Li负责数据管理；Han Zhou负责正式分析、数据管理、概念化；Ning Cao负责方法论、调查和资金获取。

在竞争利益声明部分，本文的作者声明他们没有已知的与本研究相关的竞争性财务利益或个人关系，这些关系可能会影响本文所报告的工作。

在致谢部分，本文的研究得到了江苏省重点研发计划的支持（编号：BE2020714）。该计划为本研究提供了必要的资金和资源，支持了数据的收集、模型的开发和实验的进行。