复杂的情感体验：从全局到局部的情绪表征提取方法在对话情感识别中的应用

《Neurocirugía (English Edition)》：Mixture of emotions: Global-to-local emotion representation extraction for emotion recognition in conversation

　　混合情绪对话识别模型通过原型向量引导全局上下文，结合局部关键 token 提取和监督对比学习缓解类别不平衡，在多个数据集上显著提升性能。

　　情绪识别在对话中的重要性日益凸显，尤其是在自然语言处理（NLP）技术不断进步的背景下。传统的情绪识别方法通常将情绪识别任务视为单标签分类问题，即每个对话中的语句只能对应一种情绪标签。然而，这种简化处理方式在实际应用中存在明显的局限性，因为人类在交流时往往表达多种情绪，这些情绪可能相互交织、重叠或迅速变化。为了更好地理解和应对这种复杂的表达，本文提出了一种全新的方法——混合情绪（Mixture of Emotions, MoE），该方法认为情绪是多种心理表达的组合，并通过全局到局部的策略提取情绪表示。

在当前的研究中，许多模型在处理情绪识别任务时忽视了多情绪共存的现象，导致对语句情感特征的捕捉不够全面。这种做法可能会对情绪识别的准确性产生负面影响，因为每个情绪都对整体情感表达有其独特贡献。例如，一个语句“我已经找了八个月了”不仅包含了沮丧的情绪，还可能隐含着悲伤的情感。通过引入MoE方法，我们能够更准确地捕捉这些细微的情感差异，从而提升模型在复杂对话场景中的表现。

MoE方法的核心在于引入情绪原型向量，这些向量来源于预训练阶段，旨在引导模型关注与情绪相关的上下文信息。在自注意力机制中，我们设计了一种精细的情绪掩码矩阵，以避免不同情绪之间的干扰。这一策略有助于模型在全局范围内识别情绪的整体趋势，同时在局部层面聚焦于最能体现情绪的关键词。通过这种全局与局部相结合的策略，我们能够更全面地理解语句的情感内容。

为了进一步提升模型对不同情绪的区分能力，我们引入了监督原型对比学习（Supervised Prototypical Contrastive Learning, SPCL）。这种方法不仅帮助模型将相似情绪聚类在一起，还能够明确区分不同情绪之间的差异。特别是在处理像IEMOCAP这样的数据集时，SPCL在解决情绪类别不平衡问题上展现出显著的优势。通过引入新的情绪原型向量，我们有效缓解了传统对比学习方法在处理相似情绪时的不足，同时提升了模型在面对类别不平衡数据时的稳定性。

此外，我们还对MoE方法进行了系统性的实验验证。在四个广泛使用的ERC数据集上，包括MELD、IEMOCAP、DailyDialog和EmoryNLP，我们的模型均取得了良好的表现。在MELD数据集上，MoE模型的加权F1值超过了之前最先进的模型SACL-LSTM约0.39%；在IEMOCAP数据集上，这一优势达到了1.16%；而在DailyDialog数据集上，MoE模型的微F1值比DAG-ERC高出0.35%。这些结果充分证明了MoE方法在情感识别任务中的有效性。

MoE方法的结构可以分为三个主要阶段。第一阶段是情绪原型向量的获取，我们利用预训练的语言模型（如RoBERTa-Large）来生成这些向量。这些向量在模型的训练过程中被用来引导模型关注情绪相关的上下文信息，并通过自注意力机制进行更新。第二阶段是情绪表示的提取，我们采用一种自适应的策略，优先提取最能体现情绪的关键词。这一策略有助于模型在局部层面捕捉到情绪的核心特征，从而提升其对情绪的理解能力。第三阶段是情绪预测的实现，我们通过融合不同情绪的表示，形成最终的情绪预测结果。

在实际应用中，情绪识别不仅有助于构建更智能的对话系统，还能在情感支持、情感分析和社交媒体意见挖掘等领域发挥重要作用。例如，在情感支持对话中，准确识别用户的情绪状态可以帮助系统提供更有针对性的回应，从而增强用户体验。而在情感分析任务中，理解对话中的多情绪表达有助于更全面地分析用户的情感倾向。

本文的研究成果表明，MoE方法在处理多情绪共存的问题上具有显著的优势。通过引入情绪原型向量和自适应的掩码矩阵，我们不仅提升了模型对情绪的理解能力，还有效解决了传统方法在处理相似情绪和类别不平衡数据时的不足。实验结果进一步验证了这一方法的可行性，表明其在多个数据集上的表现均优于现有方法。

在未来的研究中，我们计划进一步优化MoE方法，以提升其在不同应用场景下的适应性。例如，我们可以探索如何将MoE方法应用于多模态情绪识别任务，以更全面地捕捉语音、面部表情和文本等多方面的信息。此外，我们还希望将MoE方法与其他先进的深度学习技术相结合，以提升其在处理复杂情感表达时的性能。

总之，MoE方法为情绪识别任务提供了一种全新的视角，即情绪是多种心理表达的混合体。通过这种混合情绪的建模方式，我们能够更准确地捕捉对话中的情感信息，从而提升模型在实际应用中的表现。这一方法不仅有助于构建更智能的对话系统，还为情感识别领域的研究提供了新的思路和方向。