基于多传感器融合与机器学习的虚拟现实情绪识别研究：EEG、眼动追踪与生理信号的协同分析

　　本综述系统探讨了利用虚拟现实（VR）技术结合多传感器（如EEG、眼动追踪、EDA等）融合与机器学习方法（XGBoost、CatBoost等）实现高精度情绪识别的创新框架。研究通过沉浸式VR环境激发情感响应，整合生理数据与主观评估（PANAS量表），显著提升了情绪状态分析的准确性与生态效度，为精神健康诊断、自适应教育及人机交互领域提供了突破性技术路径。

　　

Machine learning applications in VR

虚拟现实中的机器学习应用

机器学习技术与VR技术的结合已在多个领域得到广泛研究。Sindu等人通过系统综述指出，在工程、教育和医学领域中，利用多模态数据的机器学习在VR和AR中的应用突显了这些算法的高效性与精确性。Quintero探讨了将VR与机器学习结合时的方法学挑战与策略，为提升相关研究的严谨性与效果提供了宝贵见解。

Emotion recognition framework with eye tracking in a VR environment

VR环境中结合眼动追踪的情绪识别框架

本研究提出的系统如图1所示，包含三个主要部分。第一部分为“VR中的情绪诱发”，包括记录参与者数据并呈现旨在引发目标情绪的视听刺激的物理系统组件。除传感器数据外，该部分还收集参与者主观情绪评估的问卷调查响应。第二部分是“数据收集”流程，在此过程中，融合的传感器数据与PANAS量表响应被同步采集与预处理。第三部分为“机器学习建模与评估”，利用提取的特征训练多种机器学习模型，并通过准确率、精确率、召回率和F1分数等指标对其性能进行系统评估。

Hardware and software

硬件与软件

实验所使用的VR头显设备为HTC Vive Pro Eye，配备双3.5英寸OLED显示屏，每眼分辨率为1440 × 1600像素，总分辨率达2880 × 1600像素。该设备支持90 Hz刷新率，视场角为110°，并集成耳机用于音频刺激。头显内置由Tobii驱动的眼动追踪系统，以120 Hz频率提供双眼注视数据，精度在0.5°至1.1°之间，且支持5点校准流程。

Results

结果

本节我们从四个关键方面审视情绪识别研究的结果：首先，探讨不同生理信号与情绪状态之间的相关性；其次，展示从机器学习模型中获得的情绪识别结果；接着讨论影响模型准确性的因素，包括传感器融合特征的作用、不同数据模态的贡献以及2D与360°视听数据的影响。

Discussion

讨论

在VR环境中部署机器学习模型所获得的结果表明，利用结合眼动追踪的多传感器融合技术在情绪识别领域取得了显著进展。本节将讨论这些结果的意义以及它们与研究初始贡献的一致之处。

XGBoost和CatBoost在我们实验中的卓越表现突显了先进集成方法在处理典型多模态数据集时的有效性。这些模型能够有效捕捉EEG频谱特征、眼动事件（如注视与扫视）与外周生理信号（如心率变异性与皮电活动EDA）之间的复杂非线性关系，从而实现对积极情绪（PA）与消极情绪（NA）的高精度区分。

Conclusion

结论

本研究展示了虚拟现实（VR）与多传感器融合——包括脑电图（EEG）、眼动追踪和生理数据——在提高情绪识别准确性方面的创新应用。利用机器学习模型，特别是XGBoost与CatBoost，在VR环境中表现出预测情绪状态的高效能力，充分发挥了通过这一整合所创建的多模态数据集的潜力。