基于多特征语音分析与堆叠卷积神经网络的语音情感识别研究

《Scientific Reports》：Stacked convolutional neural network for emotion recognition using multi feature speech analysis

　　本研究针对远程医疗诊断中对患者情感状态评估的需求，提出了一种基于堆叠卷积神经网络（SCoNN）的语音情感识别新方法。研究团队在RAVDESS、TESS和SAVEE三个公开情感语音数据集上，通过融合MFCC和Mel Spectrogram等多维声学特征，构建了具有分层特征提取能力的深度学习模型。结果表明，SCoNN在三个数据集上分别达到了93.30%、95.00%和99.93%的分类准确率，显著优于传统CNN、LSTM等模型。该研究为远程医疗中的情感评估提供了可靠的技术支持，推动了智能医疗诊断系统的发展。

　　

在远程医疗快速发展的今天，医生无法像面对面问诊那样直接观察患者的面部表情和肢体语言，这使得通过语音信号准确识别患者情感状态变得尤为重要。情感失衡与多种严重疾病密切相关，包括双相情感障碍、创伤后应激障碍（PTSD）和心血管疾病等。早期准确识别情感状态对于及时干预和治疗具有重要意义。然而，传统的情感识别方法往往依赖于单一特征或简单模型，在复杂真实场景下的准确性和鲁棒性面临挑战。

针对这一难题，来自印度西里古里曼尼帕尔技术研究所、阿姆里塔视觉科学大学等机构的研究团队在《Scientific Reports》上发表了最新研究成果。他们开发了一种名为堆叠卷积网络（SCoNN）的新型深度学习架构，专门用于从语音信号中识别人类情感状态。这项研究的意义在于为远程医疗提供了一种可靠的情感评估工具，使临床医生能够通过分析患者在远程会诊中的语音特征来客观评估其情感状态。

研究人员采用了系统化的技术路线，首先从RAVDESS、TESS和SAVEE三个公开数据集中获取情感语音样本，并通过噪声注入、时间拉伸、时间偏移和音高偏移等数据增强技术扩充数据集。在特征提取阶段，他们综合采用了梅尔频率倒谱系数（MFCC）、线性预测编码（LPC）、梅尔频谱图（Mel Spectrogram）、色度短时傅里叶变换（Chroma STFT）等多种声学特征。SCoNN模型的核心创新在于其分层堆叠的卷积块设计，每个卷积块包含批归一化、dropout和激活函数，能够从语音信号中分层提取复杂的音频特征。

模型架构设计与比较分析

SCoNN架构采用多尺度特征学习和自适应特征融合策略，通过堆叠的Conv1D卷积块逐步提取时序-频谱特征。与传统的CNN、LSTM以及CNN+LSTM混合模型相比，SCoNN在三个数据集上均表现出显著优势。特别是在特征融合方面，结合MFCC和Mel Spectrogram特征的SCoNN模型在RAVDESS数据集上达到93.30%的准确率，在SAVEE数据集上达到95.00%，在TESS数据集上更是达到了惊人的99.93%。

多数据集性能验证

研究团队在三个数据集上进行了全面验证。在RAVDESS数据集上，SCoNN结合MFCC和Mel Spectrogram特征取得了最佳性能（93.30%），明显优于单一特征模型。在SAVEE数据集上，该模型同样表现优异（95.00%），特别是在识别愤怒（93.65%敏感性，100%特异性）和惊讶（100%敏感性）等情感时表现出色。在TESS数据集上，模型几乎达到完美识别（99.93%），证明了其强大的泛化能力。

声学特征的有效性分析

研究还深入分析了不同声学特征对情感识别的贡献。MFCC特征在捕捉语音的短时序特征方面表现良好，而Mel Spectrogram则更擅长提取频谱信息。两者结合能够互补优势，为模型提供更全面的声学特征表示。特别值得注意的是，在情感特异性分析中，SCoNN对愤怒、高兴等情感的识别敏感性和特异性均超过90%，仅在少数复杂情感（如恐惧、悲伤）上略有下降。

研究的讨论部分强调了SCoNN架构在语音情感识别中的创新价值。与现有研究相比，该模型不仅准确率高，而且具有更好的泛化能力和鲁棒性。分层卷积堆叠机制使模型能够同时捕捉短期声学特征和长期时序模式，而自适应多特征融合策略则有效整合了不同声学特征的互补信息。

这项研究的实际意义在于为远程医疗中的情感监测提供了可行的技术解决方案。临床医生可以借助该系统客观评估患者在远程会诊中的情感状态，为诊断提供重要参考。此外，该技术在人机交互、心理健康监测等领域也具有广阔应用前景。未来研究方向包括进一步优化模型架构、扩展情感类别识别以及在更广泛临床场景中的验证应用。