面向医疗健康应用的深度多模态语音增强与分离技术前沿

《IEEE Journal of Selected Topics in Signal Processing》：Guest Editorial: IEEE JSTSP Special Issue on Deep Multimodal Speech Enhancement and Separation (DEMSES)

　　本特刊聚焦深度多模态语音增强与分离（DEMSES）前沿，针对噪声、混响及干扰语音等挑战，研究人员探索了融合音频、视频、文本、脑电（EEG）等多模态数据的新方法。所收录的八篇论文提出了创新模型架构（如HAV-DF、AV-CrossNet）、融合策略及学习范式，在医疗通信、内容过滤、目标说话人提取等场景中显著提升了语音处理性能（如PESQ提升25%），推动了多模态SE/SS技术在真实环境下的鲁棒性与适用性。

　　

语音是人类沟通和社会融合的主要方式，但在嘈杂的现实环境中，噪声、混响以及多人同时说话的干扰严重影响了人机交互的质量，制约了语音识别、合成等应用的发展。尽管基于深度学习的单模态语音增强（Speech Enhancement, SE）和语音分离（Speech Separation, SS）技术已取得显著进展，但在复杂声学场景下，其性能仍面临瓶颈。近年来，研究者开始将目光投向多模态信息融合，通过引入视觉（如唇部运动）、文本、甚至脑电（Electroencephalography, EEG）等辅助信号，为语音处理系统提供宝贵的上下文线索，从而在噪声中更精准地捕捉目标语音，提升系统的鲁棒性。这一趋势催生了一个蓬勃发展的研究领域——深度多模态语音增强与分离（Deep Multimodal Speech Enhancement and Separation, DEMSES）。在此背景下，IEEE信号处理领域旗舰期刊《IEEE Journal of Selected Topics in Signal Processing》于2025年5月推出了DEMSES特刊，集中展示了八项高质量研究成果，旨在推动该领域从新兴课题迈向主流创新。

为开展研究，研究人员主要运用了以下几类关键技术方法：1）多模态融合架构，如早期/晚期融合、交叉注意力机制；2）先进的神经网络模型，包括Transformer、选择性状态空间模型（如Mamba）、卷积网络（如Conformer）及复杂谱映射；3）特定学习策略，如模型无关的掩码-恢复（Mask-And-Recover, MAR）策略、细粒度置信度评分（Fine-grained Confidence Score, FCS）模型、对抗性训练以及面向任务的训练方法；4）多模态数据利用，涉及音频-视觉、文本提示、脑电信号及场景上下文信息；研究数据来源于多个公开数据集（如VoxCeleb2、LRS、MUSIC、AVSpeech）及自建数据集（如用于低质量视频研究的MISP-LQV Mandarin数据集）。

1) Enhanced Multimodal Speech Processing for Healthcare Applications: A Deep Fusion Approach[A1]

该研究针对医疗环境中环境噪声影响医患沟通的问题，提出了医疗音频视觉深度融合（Healthcare Audio-Visual Deep Fusion, HAV-DF）模型。该模型通过智能融合声学与视觉数据，集成了医疗视频接口、自适应多模态融合策略以及针对医疗场景的损失函数。在MedDialog和MedVidQA数据集上的实验表明，HAV-DF能将语音质量感知评估（PESQ）提升25%，并将医学术语保留率提高至93.18%，显著提升了急诊、远程医疗等临床场景下的通信可靠性。

2) Deep Multi-Source Visual Fusion with Transformer Model for Video Content Filtering[A2]

面对YouTube海量内容的安全过滤需求，研究提出了MFusTSVD多模态模型。该模型通过分析视频的文本、音频和视觉内容，利用BERT Transformer和两种新颖的融合方法（B-SMTLMF和B-CMTLRMF）进行跨模态特征整合。实验证明，MFusTSVD在准确率、精确率、召回率和F值上均优于现有模型，为不当语音、音频及更广泛内容类别的审核提供了强大工具。

3) SAV-SE: Scene-aware Audio-Visual Speech Enhancement with Selective State Space Model[A3]

传统音频视觉语音增强（Audio-Visual Speech Enhancement, AVSE）严重依赖面部或唇部信息，在遮挡或远距离视角下容易失效。本研究首次提出了场景感知的音频视觉语音增强（Scene-aware Audio-Visual Speech Enhancement, SAV-SE）任务，利用环境中的上下文视觉线索来改善噪声处理。所提出的VC-S2E模型结合了Conformer和Mamba模块，能有效利用场景上下文。在MUSIC、AVSpeech和AudioSet数据集上的大量实验表明，VC-S2E性能显著优于现有方法。

4) Listen, Chat, and Remix: Text-Guided Soundscape Remixing for Enhanced Auditory Experience[A4]

研究引入了一种新颖的多模态声音混音器“Listen, Chat, and Remix”（LCR）。它基于用户提供的文本提示，直接对混合声音中的多个声源进行控制、滤波和重混音，而无需进行显式的源分离。LCR利用大语言模型（Large Language Model）生成语义滤波器，高效地分解、修改和重建声音混合物。研究还构建了一个包含16万小时、超过10万个混合声音的数据集用于训练和评估。实验显示，LCR在信号质量和零样本（Zero-Shot）性能方面均有显著提升，能适应多样的重混音任务和声源类型。

5) C2AV-TSE: Context and Confidence-aware Audio Visual Target Speaker Extraction[A5]

音频视觉目标说话人提取（Audio-Visual Target Speaker Extraction, AV-TSE）性能常因上下文建模不足而不稳定。为此，研究提出了一种模型无关的掩码-恢复（Mask-And-Recover, MAR）策略，该策略整合了模间和模内上下文信息进行全局推理；同时，引入了一个细粒度置信度评分（Fine-grained Confidence Score, FCS）模型来指导对低质量片段的改进。在VoxCeleb2数据集上使用六种流行AV-TSE骨干网络进行的评估表明，该方法在多个指标上均能带来一致的性能提升。

6) Input-Independent Subject-Adaptive Channel Selection for Brain-Assisted Speech Enhancement[A6]

脑辅助语音增强（Brain-Assisted Speech Enhancement, BASE）利用脑电（EEG）信号在多人谈话环境中提取目标说话人，但面临受试者间差异的挑战。本研究提出了SA-ConvRS方法，这是一种与输入无关、受试者自适应的EEG通道选择方法，能够为BASE个性化选择信息丰富的通道。此外，还引入了基于任务的多进程对抗训练（Task-based Multi-process Adversarial Training, TMAT）方法来应对“过度记忆”现象而不降低性能。在公开数据集上的实验表明，SA-ConvRS在保持性能接近全通道设置的同时，确保了对抗数据记录伪影的鲁棒性。

7) HPCNet: Hybrid Pixel and Contour Network for Audio-Visual Speech Enhancement with Low-Quality Video[A7]

为推进低质量视频条件下的AVSE研究，该工作首先引入了MISP-LQV基准，包含120小时真实世界汉语数据集、视频退化模拟和基线评估。随后提出了HPCNet混合模型，该模型结合了唇部重建与蒸馏（Lip Reconstruction and Distillation, LRD）模块和轮廓图卷积（Contour Graph Convolution, CGConv）层以提高鲁棒性。实验证明，HPCNet能有效缓解低质量视频引起的性能下降，并在包括第二届COG-MHEAR AVSE挑战赛在内的多个数据集中表现出良好的泛化能力。

8) AV-CrossNet: an Audiovisual Complex Spectral Mapping Network for Speech Separation By Leveraging Narrow- and Cross-Band Modeling[A8]

该论文提出了AV-CrossNet，一个用于语音增强、目标说话人提取和多人语音分离的音频视觉系统。该系统基于TF-CrossNet架构，采用了复杂谱映射、全局注意力和位置编码。为了有效利用视觉线索，AV-CrossNet通过带有时间卷积层的视觉编码器集成预提取的视觉嵌入，并应用早期融合策略。在LRS、VoxCeleb、TCD-TIMIT和COG-MHEAR数据集上的评估表明，AV-CrossNet实现了最先进的性能，即使在未经训练和失配条件下也是如此。

综上所述，本特刊收录的八篇论文充分展示了深度多模态语音增强与分离（DEMSES）领域的最新进展和广阔前景。这些研究通过创新性地融合音频、视觉、文本、脑电乃至场景上下文等多种模态信息，设计了更为鲁棒和自适应的模型架构与学习策略。它们不仅显著提升了在医疗健康、内容安全、通信体验等具体应用场景下的语音处理性能，还拓展了多模态语音处理的边界，例如引入了无需显式分离的文本引导重混音、受试者自适应的脑电通道选择、以及对低质量视频的鲁棒性处理等新范式。这些成果表明，多模态方法正在成为解决复杂真实环境下语音通信挑战的关键。随着深度学习与多模态信号处理的深度融合，DEMSES技术有望为下一代人机交互系统提供更自然、高效和可靠的语音前端处理方案，最终推动人工智能驱动时代通信与交互体验的变革。