MSA-TICNN：一种双模框架，整合呼出电子鼻数据以辅助基于心电图的心理压力评估，从而提升认知能力

《Sensors and Actuators B: Chemical》：MSA-TICNN: A Dual-Modal Framework Integrating Exhaled E-Nose Data to Assist ECG-Based Psychological Stress Evaluation for Cognitive Enhancement

　　慢性心理压力下，融合心电信号（ECG）和呼出气挥发性有机物（VOCs）的双模态深度学习框架MSA-TICNN通过多尺度注意力机制和空间注意力机制，实现96.64%的分类准确率，有效捕捉自主神经活动和代谢系统的长期协同响应。

　　在现代社会，心理压力已成为影响人类认知能力的重要因素。无论是学业、工作还是日常生活，压力的存在都可能对个体的决策能力、注意力集中程度以及整体效率产生显著影响。随着技术的进步，研究者们正在探索更加精确和全面的方法来监测和评估心理压力，特别是在长期压力条件下。目前，许多研究依赖于单一模态的生理信号，例如心电图（ECG），但这种方法往往无法全面反映心理压力的复杂性。为了弥补这一不足，本文提出了一种新的双模态深度学习框架——MSA-TICNN，该框架结合了ECG和呼出气体中的挥发性有机化合物（VOCs），旨在提高心理压力监测的准确性和鲁棒性。

ECG主要记录心脏的电活动，能够捕捉到急性自主神经系统波动，例如心率变异性（HRV）。然而，ECG信号的变化通常较快，难以反映长期压力带来的代谢变化。相比之下，呼出气体中的VOCs能够提供更慢、累积的代谢信息，这些信息受到下丘脑-垂体-肾上腺（HPA）轴的调控。通过整合这两种不同时间尺度的生物标记物，MSA-TICNN能够更全面地捕捉心理压力对生理系统的综合影响。

为了验证该方法的有效性，研究团队在40名学生中进行了一项为期30天的实验，其中20名学生处于高强度心理压力状态（如长期准备研究生入学考试）。在实验过程中，研究人员每天两次收集生理数据，并使用修改后的每日PSS-10量表进行评估。这些数据被转换为连续小波变换（CWT）图像，作为模型的输入。MSA-TICNN模型采用多尺度注意力模块和空间注意力机制，以提升特征提取的准确性。实验结果显示，该模型在分类任务中达到了96.64%的准确率，优于传统的卷积神经网络（CNN）。

心理压力的检测和评估对于提高工作效率和保障个体心理健康至关重要。特别是在航空航天、医疗和高风险行业等对心理和生理状态要求较高的环境中，准确监测心理压力能够有效预防因疲劳或注意力下降导致的事故或错误。此外，长期压力可能对个体的认知功能造成不可逆的损害，因此，开发一种能够同时捕捉短期和长期压力影响的检测系统显得尤为必要。

传统的心理压力检测方法主要依赖于ECG信号，特别是HRV特征。早期的研究尝试通过结合频率域HRV特征和主动态模式（PDM）来提高个体分类的准确性，例如Choi等人提出的方法，其准确率达到了83%。然而，这种方法仍然存在局限性，特别是在捕捉长期压力的代谢变化方面。随后，Ferrarotti等人利用Stroop测试中的短期HRV特征，结合概率神经网络（PNN）和K近邻（KNN）分类器，将准确率提升至90%以上。尽管这些方法在一定程度上提高了心理压力检测的准确性，但它们主要关注心血管系统的动态变化，而忽略了其他可能与心理压力相关的生理信号。

随着深度学习技术的发展，研究者们开始探索更复杂的模型来提高心理压力检测的性能。例如，Zhang等人提出了一种结合卷积神经网络（CNN）和双向长短期记忆网络（BiLSTM）的融合模型，将准确率提升至86.5%，超越了传统的HRV方法。此外，Hwang等人开发了Deep ECGNet，这是一种结合1D CNN和循环神经网络（RNN）的混合框架，显示出在短期压力识别方面的优势。然而，这些模型仍然局限于心血管系统的监测，未能充分考虑其他生理信号在心理压力评估中的作用。

为了克服这一局限性，研究者们开始关注呼吸代谢分析，特别是呼出气体中的VOCs。呼出气体分析能够提供非侵入式的心理压力评估方法，且其数据来源具有广泛性和易获取性。当个体处于压力状态时，自主神经系统（ANS）和HPA轴会被激活，引发一系列激素和免疫反应，从而导致代谢变化。这些变化会改变低分子量化合物的生成，包括醛类、酮类、碳氢化合物和含氮化合物等。这些化合物会进入血液，最终通过肺部排出体外，因此成为心理压力相关代谢过程的重要指标。

许多研究表明，心理压力与呼出气体中的VOCs变化之间存在显著关联。例如，Ritz等人发现，在学术考试压力下，哮喘患者的呼出一氧化氮（NO）水平会显著降低。进一步的研究表明，急性心理社会压力会导致呼出NO水平的短暂升高，这与内源性皮质醇水平呈正相关。在另一项研究中，Ritz等人还发现，日常负面情绪波动与呼出NO水平的变化密切相关，表明即使是最细微的情绪变化，也可能对肺部炎症反应产生影响。此外，Turner等人在PASAT任务中研究了认知压力对呼出VOCs的影响，发现呼出气体中某些VOCs的浓度会发生显著变化，如吲哚和2-甲基十五烷的增加，以及苯甲醛和萜烯的减少，这进一步证明了呼出气体中的VOCs对心理压力的高度敏感性。

在全面的综述中，Tonacci等人强调了呼出VOCs在心理压力诊断中的潜力，认为这些生物标记物能够可靠地反映由神经内分泌驱动的代谢变化。此外，Lara等人发现，通过化学诱导（如CCK-5）引发的恐慌发作会导致肺部和全身NO水平的显著变化，进一步验证了呼出NO作为急性心理压力生物标记物的有效性。这些研究共同表明，呼出气体分析作为一种非侵入式和代谢信息丰富的工具，对于心理压力的检测具有重要价值。

为了进一步提升心理压力检测的准确性，研究者们开始探索将多种生理信号进行融合的方法。例如，电子鼻（e-nose）技术能够分析呼出气体中的VOCs，为心理压力监测提供了新的可能性。Udahemuka等人使用石英晶体微天平阵列进行VOC检测，能够区分舒适和不适状态，其准确率达到70%。Heng等人则展示了e-nose技术在捕捉压力诱导的生理变化方面的有效性，能够提供准确的实时压力检测。这些技术的进步为心理压力的评估提供了新的视角，同时也为开发更全面的监测系统奠定了基础。

然而，现有的ECG-based方法主要关注即时的心血管反应，无法全面反映长期压力对个体的影响。此外，当前的压力检测系统通常依赖于单一模态的数据，这限制了其对心理压力多维特性的监测能力。因此，本文提出了一种新的双模态融合网络——MSA-TICNN，该网络能够同时捕捉短期和长期压力对生理系统的综合影响，从而提高心理压力监测的准确性和可靠性。

本文的结构安排如下。第二部分介绍了所提出的MSA-TICNN模型，详细说明了其框架、特征提取模块以及双模态特征融合过程。第三部分描述了实验平台、数据集和数据预处理方法，并对不同的编码方法和模型进行了比较，同时进行了模型消融研究。第四部分展示了实验结果和分析，第五部分则给出了结论和讨论。此外，本文还提及了一些未引用的参考文献，以确保研究的全面性和完整性。

在实验过程中，研究人员采用了一种双模态平台，该平台集成了电子鼻（EN）和ECG系统，如图3所示。该平台能够实现心理压力状态下生理信号的同步和高保真采集，为多模态压力分析提供了支持。电子鼻子系统包括呼气面罩、干燥管、流量计、三通阀、气体室和一个12元素金属氧化物半导体（MOS）传感器。通过该平台，研究人员能够实时收集呼出气体中的VOCs和ECG信号，为模型的训练和测试提供了高质量的数据。

为了优化MSA-TICNN模型的结构，研究人员进行了消融实验，通过调整ECG和EN分支中多尺度注意力特征提取模块（MAFEM）的数量，评估了九种不同的组合配置。实验结果如表2所示，模型的准确率随着深度的增加而提高，最终在ECG分支中使用两个MAFEM、EN分支中使用三个MAFEM的配置下，达到了最高的准确率0.96。相比之下，使用较少模块的配置导致准确率下降，这表明多尺度注意力机制在提升模型性能方面具有重要作用。

此外，为了提高模型的鲁棒性，研究人员引入了空间注意力机制，使网络能够更有效地关注在分类过程中最具信息量的区域。通过结合多尺度注意力和空间注意力机制，MSA-TICNN能够更全面地捕捉心理压力相关的生理特征，从而提高其在复杂环境下的适应能力。

实验结果表明，MSA-TICNN在心理压力检测任务中表现出色，其分类准确率达到96.64%，显著优于传统的CNN方法。这一结果不仅验证了双模态融合在心理压力监测中的有效性，也表明通过结合ECG和呼出气体中的VOCs，可以更全面地评估心理压力对个体的影响。此外，研究团队还对不同的编码方法进行了比较，发现基于CWT图像的编码方式在特征提取和模型训练方面具有优势，能够更好地保留原始信号的时空特性。

综上所述，本文提出了一种新型的双模态深度学习框架——MSA-TICNN，该框架结合了ECG和呼出气体中的VOCs，以提高心理压力监测的准确性和可靠性。通过多尺度注意力模块和空间注意力机制，该模型能够更有效地提取和融合不同模态的生理特征，从而实现对心理压力的全面评估。实验结果表明，MSA-TICNN在心理压力检测任务中表现出色，其准确率显著高于传统方法，为未来心理压力监测系统的发展提供了新的思路和方法。