融合驱动多模态学习在手术护理生物医学时间序列预测中的创新应用与临床价值

　　本综述系统阐述了融合驱动多模态学习（Fusion-driven Multimodal Learning）在生物医学时间序列分析中的前沿进展，重点介绍了自适应多模态融合网络（AMFN）和动态跨模态学习策略（DCMLS）在手术护理场景中的应用。通过整合生理信号（ECG/BP/Resp）、影像学和电子健康记录（EHRs），该框架利用注意力机制、图卷积网络（GCN）和对比学习显著提升了预测准确性、鲁棒性和可解释性，为AI驱动的疾病诊断和治疗规划提供了新范式。

　　

1 引言

生物医学时间序列预测在早期诊断、治疗规划和患者监护中具有关键作用。传统方法往往依赖于单模态学习范式，难以充分利用生理信号、影像学和电子健康记录（EHRs）等异构数据源的互补信息。这些方法存在模态错位、特征融合欠佳和缺乏自适应学习机制等问题，导致在复杂生物医学场景中性能下降。近年来，深度学习尤其是多模态方法为融合多样化数据源提供了新机遇，通过利用不同模态的优势，不仅提高了预测性能，还能更全面地洞察患者健康状况。

2 相关工作

2.1 多模态数据融合技术

多模态数据融合策略可分为早期融合、中期融合和晚期融合。早期融合在输入层合并原始数据，学习联合表征；中期融合在隐藏层整合各模态特征，保留个体特性同时捕获交互作用；晚期融合在决策层合并模态特异性模型的输出。中期融合在生物医学应用中尤其有效，能在保留模态特异性特征的同时学习联合表征。对抗训练和迁移学习等技术被提出来增强多模态模型的鲁棒性和泛化能力。

2.2 时间序列分析的对比学习

对比学习通过对比正样本对和负样本对学习嵌入，捕获数据底层结构。在生物医学时间序列中，对比学习能有效处理固有噪声和变异性，聚焦于时间动态和模式。多尺度和多模态对比学习网络通过基于模态间距离分组模态，最小化组内变异，并利用多尺度特征提取技术在不同分辨率捕获语义信息。跨模态对比学习最大化模态间组的一致性，保留有用信息的同时抑制噪声。

2.3 生物医学应用中的Transformer模型

Transformer模型通过自注意力机制建模长程依赖和复杂时间模式，在生物医学领域被用于整合多模态数据如生理信号和临床记录。多模态大语言模型框架MedTsLLM引入重编程层对齐时间序列块与预训练语言模型的嵌入空间，有效利用原始时间序列和文本上下文。任务如语义分割、边界检测和生理信号异常检测受益于此方法，为临床医生提供可操作的见解。

3 方法

3.1 概述

本研究提出自适应多模态融合网络（AMFN），用于有效整合和利用多模态数据改进学习和推理。框架包括多个关键组件，每个组件解决多模态AI中的特定挑战。通过分层表征和基于注意力的对齐，模型能有效桥接异构数据源间的语义鸿沟。

3.2 预备知识

多模态AI旨在从多个异构数据源整合和学习。给定包含M个模态的数据集，让X = {X⁽¹⁾, X⁽²⁾, ..., X^(M)}表示输入空间，其中X^(m) ∈ R^d_m代表第m个模态的特征空间。每个模态提供关于底层数据分布的互补信息，目标是学习捕获模态间关系的联合表征。

3.3 自适应多模态融合网络

AMFN通过动态学习模态关系和优化跨模态交互来整合异构模态。模型将模态交互建模为图G = (V, E)，其中每个节点代表一个模态，边代表不同模态间的关系或相似性。使用基于相似性的图，邻接矩阵A_ij通过相似性函数S计算，归一化后指导信息传递在图卷积网络（GCN）中精化模态表征和建模结构化模态间依赖。

3.3.1 特征提取和归一化

每个模态X^(m)通过专用特征编码器φ_m(·)独立处理，捕获模态特异性特征同时投影到公共嵌入空间。提取特征表示为h^(m) = φ_m(X^(m))。为对齐不同模态的分布，执行特征归一化，计算训练集上的均值μ_m和标准差σ_m，标准化嵌入为?^(m) = (h^(m) - μ_m)/σ_m。此步骤确保特征在跨模态融合和注意力计算中保持语义一致性。

3.3.2 跨模态注意力

通过跨模态注意力机制捕获模态间交互，学习突出不同模态的相关信息。对于模态对i和j，注意力权重α_ij通过可训练矩阵W_a ∈ R^d×d的双线性变换计算，使用softmax操作归一化。参与特征向量?⁽ⁱ⁾作为所有模态特征的加权聚合获得，使模型能动态整合特征，根据上下文相关性调整每个模态的贡献。

3.3.3 图表征学习

多模态学习中，模态常表现出复杂依赖，传统方法难以完全捕获。将模态间交互建模为图，使用相似性基于图，邻接矩阵A_ij = S(h⁽ⁱ⁾, h^(j)) / ∑_k=1^M S(h⁽ⁱ⁾, h^(k))。GCN通过σ(AH^(l)W^(l))精化特征，最终表征Z通过拼接精化后的模态特异性嵌入获得。

3.4 动态跨模态学习策略

3.4.1 自适应特征选择

在临床多模态设置中，不同模态对最终预测的贡献可能不平等。引入自适应特征选择机制，为每个模态的表征分配动态重要性权重。形式化地，对于每个模态X^(m)，通过模态特异性编码器ψ_m(·)提取潜在特征表征h^(m) = ψ_m(X^(m))。计算标量重要性权重γ_m = σ(w_m^?h^(m))，其中w_m是可学习参数向量，γ_m ∈ (0,1)作为软门控因子缩放每个模态的贡献。精化特征表示为?^(m) = γ_mh^(m)。

3.4.2 跨模态对比对齐

为促进跨异构模态的语义一致性，引入对比对齐机制，显式鼓励语义相似模态对的嵌入在共享表征空间中更接近。让?⁽ⁱ⁾和?^(j)是模态i和j的归一化特征向量，对于每个语义对齐的模态对(i,j) ∈ P，通过对比损失基于嵌入的余弦接近度强制执行它们的接近度。损失函数L_align = ∑_(i,j)∈P ||?⁽ⁱ⁾ - ?^(j)||²，鼓励模型最小化对齐对在共享嵌入空间中的欧几里得距离。

3.4.3 上下文感知融合

多模态学习中的显著挑战是有效组合来自不同模态的信息，这些信息通常根据上下文具有不同相关性水平。传统特征融合方法通常依赖于静态方法，同等地对待所有模态，未能考虑模态间关系的动态性质。使用学习查询向量q，计算融合权重β_m = exp(q^??^(m)) / ∑_k=1^M exp(q^??^(k))。最终表征F = ∑_m=1^M β_m?^(m)，使模型能动态强调上下文相关模态。

4 实验设置

4.1 数据集

使用PhysioNet数据集和MIMIC-III数据集进行评估。PhysioNet数据集包含生理和临床数据，包括心电图（ECG）、动脉血压（ABP）和呼吸波形信号等主要生理模态。MIMIC-III数据集是大规模重症监护数据库，包含来自超过40,000名ICU患者的去标识化健康数据，包括生命体征、实验室结果、药物和诊断以及详细时间序列数据。

4.2 实验细节

实验在配备NVIDIA A100 GPU和Intel Xeon Platinum处理器的高性能计算环境中进行。实现基于PyTorch，使用Adam优化器优化，学习率设置为0.001，带余弦退火学习率调度器。批量大小固定为256，所有实验训练轮数设置为100。应用权重衰减因子10^-5防止过拟合。使用梯度裁剪阈值1.0稳定训练。模型初始化使用Xavier初始化全连接层，卷积层使用Kaiming初始化。应用概率0.5的Dropout防止过拟合。使用批归一化加速收敛。所有层使用ReLU激活函数，输出层使用sigmoid或softmax函数取决于任务。数据集按80-10-10比例分割为训练、验证和测试集。执行五折交叉验证确保鲁棒性。

4.3 与SOTA方法比较

为证明提出模型的有效性，与几种最先进（SOTA）方法在PhysioNet、MIMIC-III、OCT和LIDC-IDRI数据集上比较。结果表明，模型在PhysioNet和MIMIC-III数据集上始终优于其他方法，实现最低RMSE和MAE，同时获得最高R平方，表明预测准确性卓越。改进超过传统循环神经网络基础模型如LSTM和GRU，凸显了顺序建模方法在推荐任务中的局限性。虽然Transformer基础方法和时间融合变压器（TFT）表现出改进性能，方法超越它们，表明方法更好捕获复杂用户-项目交互。

4.4 消融研究

为评估提出模型中不同组件的贡献，通过系统移除关键元素并进行消融研究评估它们对性能的影响。观察到移除每个组件对模型性能产生负面影响。移除特征提取导致RMSE和MAE显著增加，表明该组件在学习准确用户-项目表征中起关键作用。R平方下降进一步支持此观察，表明没有特征提取的模型难以解释用户评分中的方差。类似地，排除跨模态注意力导致所有指标性能略差，确认其精化预测的重要性。移除自适应特征选择也降低性能，特别是MAPE，意味着该组件对于最小化相对预测误差至关重要。完整模型优于所有消融变体，确认所有三个组件的必要性。

5 讨论

模型可解释性是AI系统临床适用性的关键方面，因为医疗专业人员需要不仅准确而且透明的预测。框架在多个架构级别体现可解释性，进一步通过实证结果验证。跨模态注意力机制允许基于上下文相关性动态加权每个模态。这些注意力权重可提取和可视化，揭示模态级贡献。例如，在PhysioNet实验中，生理信号如心率变异性