基于虚拟现实与多传感器融合的情绪识别研究：机器学习在神经认知与生理信号分析中的创新应用

　　本综述系统探讨了利用虚拟现实（VR）技术结合多传感器融合（包括脑电图EEG、眼动追踪、心率变异性HRV、皮肤电活动EDA等）进行情绪识别的创新方法。研究通过集成机器学习模型（如XGBoost、CatBoost），在沉浸式环境中采集多模态生理数据，显著提升了情绪状态分类的准确性与鲁棒性（F1分数等指标），为心理健康诊断、自适应教育及人机交互等领域提供了可扩展的技术范式。

　　

Machine learning applications in VR

虚拟现实中的机器学习应用

机器学习技术与虚拟现实（VR）技术的整合已在多个领域得到广泛研究。Sindu等人通过系统综述指出，在工程、教育和医学领域中，利用多模态数据在VR和增强现实（AR）中应用机器学习算法，突显了这些算法的高效性和精确性[17]。Quintero探讨了将VR与机器学习结合时的方法学挑战及策略，为提升实验设计的严谨性和数据解读的深度提供了见解。

Emotion recognition framework with eye tracking in a VR environment

VR环境中结合眼动追踪的情绪识别框架

本研究提出的系统如图1所示，包含三个主要部分：第一部分为“VR中的情绪诱发”，涵盖记录参与者数据及呈现旨在激发目标情绪的视听刺激的物理系统组件。除传感器数据外，此部分还生成参与者主观情绪评估的问卷调查响应。第二部分是“数据收集”流程，其中融合的传感器数据与PANAS量表响应被聚合为结构化数据集。第三部分为“分析与分类”，利用机器学习模型对多模态数据进行处理，以预测情绪状态。

Hardware and software

硬件与软件

实验使用的VR头显为HTC Vive Pro Eye，配备双3.5英寸OLED显示屏，每眼分辨率为1440 × 1600像素，总分辨率为2880 × 1600像素。头显支持90 Hz刷新率及110°视野角，并集成耳机用于音频刺激。其Tobii驱动的眼动追踪以120 Hz频率提供双眼凝视数据，精度为0.5°至1.1°，并通过5点校准过程优化追踪性能。

Results

结果

本节从四个关键方面审视情绪识别研究结果：首先，探究不同生理信号与情绪状态之间的相关性。其次，展示机器学习模型获得的情绪识别结果。接着讨论影响模型准确性的因素，包括传感器融合特征的作用、不同数据模态的贡献，以及2D与360°视听数据的影响。

Discussion

讨论

在VR环境中部署机器学习模型所获得的结果表明，利用结合眼动追踪的多传感器融合进行情绪识别领域取得了显著进展。本节探讨这些结果的深层含义及其与研究初始贡献的一致性。

XGBoost和CatBoost在实验中的卓越性能突显了先进集成方法在处理典型多模态数据集时的有效性。这些模型能够捕获非线性关系及特征间交互，这对于解读由生理响应（如EEG频带功率、瞳孔直径变化或心率变异性）中衍生的复杂模式至关重要。

Conclusion

结论

本研究展示了虚拟现实（VR）与多传感器融合（包括EEG、眼动追踪及生理数据）的创新应用，以提升情绪识别的准确性。机器学习模型（尤其是XGBoost和CatBoost）在VR环境中的高效表现，充分利用了通过此整合所创建的多模态数据集。在VR设置中集成多样化传感器，使得能够全面捕捉情绪响应，从而通过多维度数据输入增强机器学习模型的预测能力。