基于CNN与维度情感模型的在线课堂实时情绪检测与分析方法研究

《Complex System Modeling and Simulation》：An approach to detect and analyze continuous emotions in a real-time online classroom

　　本文针对在线教学中教师难以实时掌握学生情绪状态的问题，提出了一种基于卷积神经网络（CNN）和维度情感模型（Valence-Arousal）的实时情绪分析框架。研究人员通过WebRTC技术开发视频会议系统，利用AffectNet数据集训练CNN模型预测学生的情感效价和唤醒度，成功识别中性、无聊、困惑、希望和好奇五种学习相关情绪。实验表明该模型在RMSE、CORR等指标上显著优于基线模型，为教师提供实时情绪监控和课后分析功能，对优化在线教学质量具有重要实践意义。

　　

随着新冠疫情的爆发，全球教育系统经历了向在线学习的重大转型。在线课堂的普及虽然解决了时空限制问题，却带来了新的挑战——教师难以像传统课堂那样直观感知学生的情绪反应。研究表明，情绪对学习效果具有决定性影响：积极情绪如好奇和兴趣能促进知识吸收，而消极情绪如焦虑和无聊则会阻碍认知处理。然而，在数十人同时参与的在线课堂中，教师根本无法实时观察每个学生的面部表情变化，更无法根据情绪反馈及时调整教学策略。

现有技术多基于分类模型（Categorical Model）识别六种基本情绪，但这种方法在在线学习场景中存在明显局限。学生可能因非学习因素（如与同学社交）表现出快乐情绪，这并不能真实反映其课堂参与度。更重要的是，学习过程中产生的困惑、好奇、希望等复杂情绪无法通过基本情绪类别准确捕捉。此外，多数研究依赖课后视频分析，缺乏真正的实时干预能力。

为解决这一难题，印度中央理工学院科克拉贾尔分校的Innocent Dengkhw Mochahari团队在《Complex System Modeling and Simulation》发表研究，开发了一套融合维度情感模型的实时情绪分析系统。该系统通过卷积神经网络（CNN）连续追踪学生的情感效价（Valence，情绪正负向）和唤醒度（Arousal，生理激活程度），将二维坐标映射到五种学习中心情绪（中性、无聊、困惑、希望、好奇），为教师提供动态的情绪仪表盘。

关键技术方法包括：1）基于WebRTC和Agora SDK构建视频会议平台，以320×180分辨率每15秒采集学生面部图像；2）使用Haar cascade分类器进行人脸检测，并通过自定义CNN架构（包含3个卷积块、Dropout层和全连接层）回归预测维度情感值；3）利用AffectNet数据集（含291,651张人工标注图像）进行模型训练，采用线性激活函数输出连续值；4）根据Russell的环状模型将二维情感坐标映射到学习情绪象限，实现情绪状态分类。

系统架构设计

研究团队设计了双轨并行的系统架构：学生端仅参与视频通话，教师端则配备实时情绪分析面板。系统通过Django框架搭建后端，使用PostgreSQL数据库存储时间序列情感数据。当视频流经WebRTC传输后，图像处理模块自动截取帧画面，通过CNN模型生成情感坐标，最终以计数表和可视化图表呈现结果。

情绪映射模型

区别于传统分类法，研究创新性地将维度情感模型应用于教育场景。如图4所示，五种学习情绪被精确定位在情感象限中：好奇（高唤醒度/高效价）位于第一象限，困惑（高唤醒度/低效价）居于第二象限，无聊（低唤醒度/低效价）处于第三象限，希望（低唤醒度/高效价）分布在第四象限，中性情绪则集中在坐标原点附近。这种映射关系综合了Shen等学者提出的情感数字化学习模型特征，更贴合真实学习场景。

模型性能验证

在AffectNet数据集上的测试表明，自定义CNN模型显著优于基线模型。如表2所示，情感效价预测的均方根误差（RMSE）从0.37降至0.276，相关系数（CORR）从0.66提升至0.846；唤醒度预测的RMSE从0.41改善至0.234（表3）。训练过程显示（图13-14），模型在150个epoch后收敛，最佳验证周期（第137epoch效价/第95epoch唤醒度）表现出良好的泛化能力。

实际应用测试

在60名本科生的课题汇报场景中（图8），系统成功捕捉到情绪动态变化：汇报开始时中性（40%）和无聊（35%）情绪主导，演讲阶段好奇情绪上升，反馈环节希望情绪显著增加。课后分析页面（图10-12）提供个体情绪轨迹线图、群体分布饼图和时间戳关联分析，教师可导出CSV数据进行深度研究。值得注意的是，当学生使用屏幕共享功能时，视频流传输限制导致情绪监测中断，这暴露出SDK层面的技术约束。

研究意义与局限

该研究首次将维度情感模型与实时视频分析结合，突破了传统分类模型的语义局限。通过将情感监测频率提升至每15秒一次，为教师提供了近乎连续的课堂情绪流监测能力。系统已部署至Microsoft Azure云平台（https://studentmonitoring.azurewebsites.net/），但由于基础服务计划资源限制，大规模应用仍需优化。未来工作将聚焦于跨文化表情适应性、低光照条件鲁棒性改进，以及多模态数据（如语音、文本）融合分析。

这项研究为智慧教育提供了重要技术范式——不仅证明维度情感模型更适用于复杂学习情绪识别，还构建了完整的“采集-分析-反馈”闭环系统。通过将抽象情感转化为可量化的教学指导依据，为后疫情时代的在线教育精细化治理开辟了新路径。