多模态集成学习在急诊医学技能评估中的创新应用与神经行为标志物挖掘

　　为解决急诊医学模拟培训中评估主观性强、反馈依赖导师经验的问题，研究人员开发了一种融合脑成像、眼动追踪和头戴视频的多模态集成学习方法，用于气管插管(ETI)技能的形成性评估。研究结果显示，基于脑激活信号和瞳孔扩张的模型区分操作成功与失败的准确率超90%，显著优于视频模型(85%)，并能通过可解释AI热图精准定位新手需干预的关键操作环节，为客观、实时评估急诊技能提供了新范式。

　　

在急诊医学的模拟培训中，气管插管(ETI)等关键技能的评估长期依赖导师的主观观察和清单打分。这种方式虽然简便，却存在评分者间一致性低、反馈质量参差不齐的局限——导师只能根据自身经验判断学员操作与"理想模型"的差距，无法提供客观、量化的指导。更棘手的是，传统方法难以捕捉技能学习过程中的神经认知变化，而这些内在的生理信号恰恰是区分新手与专家的关键。

为了打破这一困境，来自伦斯勒理工学院、布法罗大学及美国陆军作战能力发展中心的跨学科团队在《Military Medicine》上提出了一种革命性的解决方案：通过多模态集成学习框架，融合脑成像、眼动追踪和头戴视频数据，对急诊医学技能进行客观、形成性评估。这项研究不仅证明了神经生理标志物在技能鉴别中的卓越性能，更开创了通过可解释人工智能（XAI）为学员提供精准可视化反馈的新途径。

研究团队采用了三项核心技术：1）利用功能近红外光谱（fNIRS）采集大脑血氧动力学信号（ΔHbO₂），监测与运动学习相关的皮层活动；2）通过头戴式眼动仪（Tobii Pro Glasses 2）同步记录瞳孔直径变化和操作视频；3）开发了一套可解释深度学习模型处理多模态数据，包括用于视频分析的卷积自编码器-分类器混合模型、用于脑信号处理的注意力机制长短期记忆（LSTM）自编码器，以及用于瞳孔数据分类的一维卷积神经网络（1D-CNN）。数据来自36名参与者（18名专家与18名新手）在气道模拟人（Life/form Airway Larry）上进行的ETI操作，最终纳入分析的试验次数因数据质量调整（视频111次、脑成像164次、瞳孔116次）。

视频模型有效捕捉行为特征并定位学习阶段

基于头戴相机视频的深度学习模型在区分专家与新手时表现出色（准确率96%，AUC-ROC 0.99）。尽管视频存在运动模糊和遮挡问题，模型仍能通过时空热图（Grad-CAM生成）精准识别关键操作环节：新手常偏向模拟人右侧导致视野受阻，且衣袖遮挡等无关元素被模型捕捉为负面特征；专家则始终正面朝向头部，保持气道清晰视野。值得注意的是，模型还能反映学习进程——一旦新手首次操作成功，后续尝试中会更早出现"专家式"体位布局，热图注意力权重在插管完成后迅速下降，表明剩余动作的判别价值降低。

脑激活信号成为区分操作成败的最强生物标志物

fNIRS信号在所有脑区（除右前额叶皮层RPFC外）均能以超过90%的准确率区分成功与失败操作，其中左顶叶（LPAR）表现最佳（93%）。这比视频模型的准确率提升近20%，证实了神经活动在技能评估中的优越性。研究还发现，不同脑区的激活模式与操作特异性相关，为理解ETI技能的神经机制提供了新证据。

瞳孔扩张是潜力的认知警戒指标

瞳孔直径变化在区分操作成败时达到97%的准确率，表明任务诱发的瞳孔反应与操作熟练度高度相关。这一发现将瞳孔测量从传统的认知负荷指标拓展到了运动技能评估领域，为无创、实时监测提供了新可能。

多模态性能比较揭示互补价值

三种模态均能有效区分ETI操作成败（准确率>85%），但脑成像与瞳孔测量表现更优（>90%）。视频模型虽准确率稍低，却具备独特优势：能通过XAI热图直观标识新手需要干预的具体操作段落，这是纯生理信号无法提供的可视化反馈能力。

该研究通过多模态集成学习框架证明了神经生理标志物（脑激活ΔHbO₂和瞳孔扩张）在急诊医学技能评估中的显著优势，同时保留了行为视频的可解释性价值。这不仅为客观评估提供了新工具，更通过精准定位学习瓶颈为个性化培训指明了方向。尽管存在穿戴设备潜在影响未充分评估、缺乏与传统反馈对比等局限，但研究开创的融合路径——如未来将视频与眼动数据融合以强化关注区域识别——预示着智能评估系统的巨大潜力。这项由美国陆军研究实验室支持的工作，不仅提升了急诊医学培训的科学性，更为战场急救等高压环境的技能认证设立了新标准。