从病灶检测到放射学报告生成：基于半监督学习的细粒度多模态对齐模型D2R-Net及其临床应用

　　来自多机构的研究人员针对放射学报告生成中病灶区域与文本描述间细粒度关联缺失的问题，开展了基于多模态对齐的病灶感知模型研究。提出的D2R-Net通过全局-局部双分支架构融合图像特征，结合LERA模块增强病灶识别，并采用LAB/GAB隐式对齐机制跨模态语义鸿沟。在MIMIC-CXR数据集上实现了高临床相关性的报告生成，为智能辅助诊断提供新范式。

　　

放射学报告生成在整合影像内容与临床知识以支持诊断、减轻临床工作负荷及提升诊断准确性方面具有关键作用。现有模型多局限于建立全局图像与文本报告的粗粒度映射，忽视病灶区域与对应报告内容的细粒度关联，影响生成报告的准确性与临床相关性。为此，研究者提出病灶感知放射学报告生成模型D2R-Net，利用22种胸部疾病的边界框标注引导模型聚焦临床显著病灶区域。该模型采用全局-局部双分支架构，融合全局图像上下文与局部病灶特征，并集成病灶区域增强模块(Lesion Region Enhancement Module, LERA)以强化关键病灶区域的识别。此外，设计包含局部对齐模块(Local Alignment Blocks, LAB)和全局对齐模块(Global Alignment Blocks, GAB)的隐式对齐机制，弥合视觉与文本模态间的语义隔阂。在基准数据集MIMIC-CXR上的实验结果表明，D2R-Net能够生成精确且具有临床相关性的放射学报告。