基于VR多传感器融合与眼动追踪的情绪识别机器学习研究

　　本文推荐一项创新研究，探讨利用虚拟现实（VR）结合多传感器融合技术提升情绪识别的准确性与生态效度。研究整合脑电图（EEG）、眼动追踪及外周生理信号，采用多种机器学习模型（如XGBoost、CatBoost）进行分析，结果显示出较高识别性能，为心理健康、人机交互等领域提供了新的方法论支持。

　　

Machine learning applications in VR

机器学习在VR中的应用已广泛研究于多个领域。Sindu等人开展了一项系统综述，识别了在工程、教育及医学领域中利用多模态数据和机器学习算法在VR与AR中的应用，突显了这些算法在效率与精度方面的优势。Quintero探讨了将VR与机器学习结合时面临的方法论挑战与策略，为提升此类研究的严谨性与可重复性提供了见解。

Emotion recognition framework with eye tracking in a VR environment

本研究提出的系统如图1所示，分为三个主要部分。第一部分为“VR中的情绪诱发”，包括记录参与者数据及呈现旨在诱发目标情绪的视听刺激的物理系统组件。除传感器数据外，该部分还产出捕获参与者主观情绪评估的问卷响应。第二部分是“数据收集”流程，在此过程中融合了传感器数据与PANAS量表响应，形成用于后续分析的数据集。第三部分为“机器学习建模与评估”，该阶段对融合后的数据提取特征，并运用多种机器学习算法进行情绪分类与性能评估。

Hardware and software

实验所使用的VR头显为HTC Vive Pro Eye，配备双3.5英寸OLED显示屏，每眼分辨率为1440 × 1600像素，总分辨率达2880 × 1600像素。该设备支持90 Hz刷新率，提供110°视野角，并集成耳机用于音频刺激。头显内置的Tobii眼动追踪系统以120 Hz频率提供双眼凝视数据，精度为0.5°至1.1°，并采用5点校准流程。

Results

在本节中，我们从四个关键方面审视情绪识别研究的结果：首先，探究不同生理信号与情绪状态之间的相关性；其次，展示从机器学习模型中获得的情绪识别结果；接着，讨论影响模型准确性的因素，包括传感器融合特征的作用、不同数据模态的贡献，以及2D与360°视听数据的影响。

Discussion

在VR环境中部署机器学习模型所获得的结果，标志着利用多传感器融合与眼动追踪进行情绪识别的领域取得了显著进展。本节讨论这些结果的意义及其与研究初始贡献的一致性。

XGBoost和CatBoost在我们实验中的卓越表现突显了先进集成方法在处理典型多模态数据集时的效力。这些模型有效捕捉了EEG、眼动及外周生理信号中编码的复杂非线性关系与交互作用，从而实现了高分类准确率。

Conclusion

本研究展示了VR与多传感器融合（包括EEG、眼动追踪及生理数据）在提升情绪识别准确性方面的创新应用。机器学习模型（尤其是XGBoost与CatBoost）的使用，在利用该集成所创建的丰富多模态数据集的基础上，于VR环境中展现出预测情绪状态的高效性。在VR设置中整合多样传感器，使得能够全面捕捉情绪反应，为情绪识别研究提供了可复制且可扩展的实验范式。