DMNet：基于双记忆网络的不完整多模态阿尔茨海默病诊断方法及其跨模态信息互补机制研究

　　本文提出DMNet（双记忆网络）解决阿尔茨海默病（AD）多模态诊断中的缺失模态问题。通过构建表格对齐记忆库（TAM）和动态重优化记忆库（DRM），结合特征一致性（FC）和记忆对应（MC）损失函数，有效补充缺失模态信息并保持模态特异性特征，在ADNI数据集上实现了最先进的诊断性能。

　　

Highlight

我们提出创新性双记忆网络（DMNet），其核心贡献如下：

• 通过双记忆网络架构有效解决阿尔茨海默病诊断中不完整多模态数据问题

• 设计表格对齐记忆库（TAM），引入临床表格数据作为引导，采用记忆对齐策略更新模块

• 开发动态重优化记忆库（DRM），通过包含特征一致性（FC）损失和记忆对应（MC）损失的记忆优化策略重优化记忆项

• 通过综合实验验证DMNet及其模块的有效性，定量与定性结果均证明其优越性

Section snippets

阿尔茨海默病诊断

基于深度学习的阿尔茨海默病（AD）诊断方法可分为单模态与多模态研究。单模态AD早期诊断方法通常使用单一影像模态或临床表格数据。例如Zhu等提出基于结构MRI的双注意力多实例深度学习网络（DA-DIDL）用于阿尔茨海默病及其前驱阶段轻度认知障碍的早期诊断；Pan等...

Problem setting

我们专注于阿尔茨海默病诊断多模态学习中的缺失模态问题。设训练样本表示为?X^m, X^p, X^c, y?，其中X^m、X^p和X^c分别表示MRI模态影像、PET模态影像和临床表格数据；y为样本标签。且X^m与X^p模态中存在缺失模态。任务是在训练期间使用训练数据训练模型及双记忆库。在推理阶段，模型基于可用模态提取缺失模态原型...

Dataset

本文使用ADNI数据库[55]中的MRI和PET数据评估所提出的DMNet方法。ADNI由美国国立卫生研究院（NIH）及其下属国家老龄化研究所（NIA）于2004年启动，旨在建立标准化多模态公共数据库以促进阿尔茨海默病相关研究发展。ADNI主要目标是通过多模态生物标志物（包括影像学、生理学和遗传学数据）验证阿尔茨海默病的疾病进展...

Parameter analysis

DMNet涉及公式(22)中的两个超参数λ₁和λ₂。其中λ₁控制TAM的相对重要性，λ₂控制DRM的相对重要性。我们在ADNI数据集上针对AD/CN分类任务分析这两个超参数，并在一个超参数变化时保持其他超参数处于最佳选择。不同λ₁和λ₂对应的Acc和AUC结果如图7所示。可见我们的方法对超参数具有鲁棒性，最合适的参数组合为...

Conclusion

本文针对阿尔茨海默病（AD）诊断多模态学习中的模态不完整挑战，提出双记忆网络（DMNet）。DMNet包含两个模块：表格对齐记忆库（TAM）和动态重优化记忆库（DRM）。具体而言，TAM存储与临床表格数据对齐的多样化本信息，通过记忆对齐策略更新。此外，我们使用DRM存储模态特异性信息，通过记忆优化策略进行更新...