基于眼动追踪与多传感器融合的虚拟现实情绪识别研究及其在健康医学领域的应用

　　本文创新性地整合虚拟现实（VR）技术与多模态传感器（EEG/EDA/PPG），通过机器学习模型（XGBoost/CatBoost）实现高精度情绪识别。研究通过95名被试的生理数据（心率变异性/瞳孔扩张）与主观评估（PANAS量表），构建了沉浸式VR环境下的情绪分析范式，为精神健康诊断（抑郁/焦虑）和个性化治疗提供了新技术路径。

　　

Machine learning applications in VR

机器学习在VR中的应用

虚拟现实（VR）技术与机器学习方法的结合已在多个领域得到广泛研究。Sindu等人通过系统综述指出，在工程、教育和医学领域中，使用多模态数据的机器学习算法在VR和AR应用中展现出卓越的效率和精确性[17]。Quintero探讨了将VR与机器学习结合时的方法学挑战与策略，为增强这类研究的严谨性提供了重要见解。

Emotion recognition framework with eye tracking in a VR environment

VR环境中基于眼动追踪的情绪识别框架

如图1所示，本研究提出的系统包含三个主要部分。第一部分「VR情绪诱发」由物理系统组件构成，用于记录参与者数据并呈现旨在激发目标情绪的视听刺激。除传感器数据外，该部分还通过调查问卷收集参与者的主观情绪评估。第二部分是「数据收集」流程，在此过程中融合了多传感器数据与PANAS量表的主观标签。第三部分为「机器学习分析」，采用多种算法对融合后的数据进行情绪分类。

Hardware and software

硬件与软件

实验采用的VR头显（HTC Vive Pro Eye）配备双3.5英寸OLED显示屏，单眼分辨率1440×1600像素，总分辨率2880×1600像素。设备支持90Hz刷新率与110°视野角，并集成耳机用于音频刺激。头显内置的Tobii眼动仪以120Hz频率采集双眼注视数据，精度达0.5°–1.1°，且支持5点校准流程。

Results

研究结果

本节从四个维度展示情绪识别研究结果：首先探究不同生理信号与情绪状态的相关性；其次呈现机器学习模型的情绪识别性能；随后讨论影响模型准确性的因素（包括传感器融合特征、多模态数据贡献以及2D与360°视听数据的差异效应）；最后通过特征重要性分析揭示关键预测指标。

Discussion

讨论

在VR环境中部署机器学习模型所获得的结果，显著推动了基于眼动追踪与多传感器融合的情绪识别研究。本节将结合研究初衷探讨这些结果的深层意义。

XGBoost与CatBoost的卓越性能表明，先进的集成学习方法能有效处理多模态复杂数据集。这些模型通过并行处理与梯度优化机制，成功捕捉了生理信号（如EEG频段能量、瞳孔直径变化）与情绪状态间的非线性关系。

Conclusion

结论

本研究展示了VR与多传感器融合（包括EEG、眼动追踪和生理数据）在提升情绪识别精度方面的创新应用。机器学习模型（尤其是XGBoost与CatBoost）在VR环境中表现出高效的情绪预测能力，充分体现了多模态数据融合的价值。通过整合多种传感器，本研究实现了对参与者情绪状态的全面捕捉，为心理健康监测（如抑郁/焦虑诊断）和个性化干预提供了新技术范式。