SwinEff-AttentionNet：一种用于乳腺图像分割和分类的双模混合模型，支持多种超声模式

《Biomedical Signal Processing and Control》：SwinEff-AttentionNet: a dual hybrid model for breast image segmentation and classification using multiple ultrasound modality

　　乳腺癌超声影像分析中，SwinEff-AttentionNet混合模型通过整合Swin Transformer、EfficientNet和ELSA模块，实现分类与分割的联合任务，在BUSI和Breast-Lesions-USG数据集上分类准确率98.50%和95.84%，分割Dice系数92%和87.82%，显著优于ViT、DeiT等模型。

　　乳腺癌是全球女性中最常见的恶性肿瘤之一，其发病率和死亡率持续上升。早期诊断在提高患者生存率方面发挥着至关重要的作用，因为能够在疾病初期阶段发现乳腺癌可以显著提升治疗的有效性。然而，超声图像的解读仍然面临诸多挑战，包括图像中的噪声、病灶边界模糊以及对专业放射科医生的依赖，尤其是在医疗资源有限的地区。为了应对这些挑战，本研究提出了一种创新的混合深度学习框架——SwinEff-AttentionNet，该框架结合了Swin Transformer、EfficientNet层和Efficient Local Self-Attention（ELSA）模块，以增强乳腺超声图像的分析能力。该架构通过分层特征提取，在病灶分割和分类任务中表现出色。实验结果表明，SwinEff-AttentionNet在两个基准数据集——BUSI和Breast-Lesions-USG上分别取得了98.50%和95.84%的分类准确率，超越了当前最先进的模型，如Vision Transformer（ViT）、Data-efficient Image Transformer（DeiT）、Pyramid Vision Transformer（PVT）、Cross Vision Transformer（CrossViT）以及Convolutional Vision Transformer（CvT）。在分割任务中，该模型的Dice系数和Intersection over Union（IoU）得分分别达到了92%和88.7%，AUC值为91.38%和89.72%，进一步凸显了其在不同成像条件下的稳健性。SwinEff-AttentionNet的双重任务特性展示了其多功能性，为临床医生提供了可靠的工具，用于病灶定位和诊断。本研究强调了先进混合架构在克服传统成像框架局限性方面的潜力，为乳腺癌诊断的准确性提升和临床决策的优化奠定了基础。

乳腺癌仍然是全球女性中最常见的癌症类型之一，其发病率和死亡率持续上升。乳腺癌的特征在于乳腺组织的不规则生长，可以是良性或恶性。其中，恶性肿瘤因其侵袭性和可能转移的特性，对患者健康构成更大威胁。早期发现对于提高患者的生存率至关重要，因为能够在疾病初期阶段确诊乳腺癌，将显著增加治疗的成功率。乳腺癌筛查技术包括乳腺X线摄影（mammography）、超声成像（ultrasound imaging, UI）、磁共振成像（magnetic resonance imaging, MRI）以及在某些情况下使用的数字乳腺断层扫描（digital breast tomosynthesis, DBT）。在这些技术中，乳腺X线摄影和超声成像是最常用的。超声成像尤其适用于乳腺组织密度较高的女性，因为它具有成本效益、非辐射性和实时成像能力。然而，超声图像的解读需要放射科医生的专业知识，这在某些地区可能面临挑战。此外，基于超声的诊断方法依赖于人工操作，容易出现误差，并且耗时较长，尤其是在缺乏专业医疗人员的地区。

近年来，人工智能（artificial intelligence, AI）技术的进步为计算机辅助诊断（computer-aided diagnosis, CAD）系统的发展提供了契机，这些系统能够帮助放射科医生更准确、高效地分析医学影像。CAD系统可以提供定量、一致和客观的评估，特别适用于病灶分类和分割任务。这些系统在提高诊断准确性方面展现出巨大潜力，通过提供可靠的“第二意见”，辅助临床决策，有助于减少人为解读的差异，并建立统一的诊断标准。其在乳腺癌检测中的成功应用促使进一步研究AI驱动的方法，特别是在提升超声图像分析能力方面，因为这些系统可以同时用于病灶分类和分割。

尽管乳腺超声图像分析领域不断取得进展，但大多数现有模型仍然将分类和分割作为独立任务处理，或者依赖单一的架构范式，如卷积神经网络（convolutional neural networks, CNN）或Transformer结构，这在一定程度上限制了它们在捕捉超声数据完整复杂性方面的能力。当前的框架往往缺乏对全局和局部特征的整合，并且在处理边界模糊的病灶时表现不佳，这可能会影响诊断的准确性。相比之下，本研究提出了一种新型的统一多任务架构SwinEff-AttentionNet，该架构巧妙地融合了Swin Transformer的分层注意力机制、EfficientNet的可扩展卷积编码能力以及ELSA的细粒度局部自注意力功能。这种独特的组合使模型能够同时进行病灶分类和分割，通过共享特征表示来提升两种任务的准确性，并增强对病灶的上下文理解。与现有的最先进的模型（state-of-the-art models, SOTA）相比，我们的方法不仅关注病灶的语义特征，还捕捉了其空间细节，通过精心设计的互补模块融合，从而在超声图像分析中取得了更全面的性能提升。因此，提出的SwinEff-AttentionNet模型在提升诊断准确性方面相比现有模型具有显著优势，标志着在开发更适应临床需求的CAD系统方面的创新进展。

为了解决乳腺超声图像分析中的各种挑战，本研究提出了以下研究问题：

研究问题1：将分割和分类整合到一个混合框架中，如提出的SwinEff-AttentionNet模型，能够在多大程度上提升乳腺超声图像分析的诊断准确性和效率，相较于独立处理任务的SOTA模型？

研究问题2：在Swin Transformer和EfficientNet混合架构中嵌入的分层注意力机制，如何促进更有效的特征提取和更可靠的病灶分割，这些机制的效果如何通过Dice系数、Intersection over Union（IoU）等指标进行量化？

研究问题3：结合Transformer、卷积神经网络（convolutional neural networks, CNN）以及注意力模块的混合架构，如何提升模型在不同医学成像数据集上的泛化能力和性能表现？

为了解决这些问题，我们提出了SwinEff-AttentionNet，这是一种创新的混合深度学习架构。本研究的主要贡献如下：

1. 开发了一种新型的混合模型SwinEff-AttentionNet，该模型整合了Swin Transformer、EfficientNet层和Efficient Local Self-Attention（ELSA）模块，以实现乳腺超声图像分析的全面分层特征提取。这种结构不仅能够捕捉高维和低维的细节，还能够通过多模态特征融合提升模型的表达能力。

2. 建立了一个稳健的基准评估框架，将提出的架构与最先进的模型进行比较，验证其在乳腺超声图像分割和分类任务中的有效性。通过这一框架，我们能够系统地评估模型在不同任务中的表现，并为未来的研究提供参考。

3. 通过引入注意力机制和高效的特征融合，解决了诸如病灶边界模糊和成像噪声等关键问题，从而提升了分割和分类任务的准确性和鲁棒性。这种改进不仅提高了模型在复杂图像环境下的适应能力，还增强了其在不同应用场景下的稳定性。

4. 通过在不同病变大小、形状和成像条件下的一致表现，展示了SwinEff-AttentionNet模型的适应性和稳健性，确保其在临床应用中的广泛适用性和良好的泛化能力。这种性能的稳定性不仅有助于模型在实际应用中的可靠性，还为其在不同医疗机构中的推广奠定了基础。

本文的结构如下：第二部分回顾了乳腺癌分割和分类领域的相关研究，第三部分详细介绍了所提出的方法和架构，第四部分展示了实验结果及其意义，第五部分总结了关键发现，并展望了未来的研究方向。

在相关研究中，已有文献探讨了Vision Transformer（ViT）在乳腺超声图像分类中的应用，并将其性能与传统卷积神经网络（CNN）进行了比较。研究评估了ViT模型和CNN在准确率和AUC方面的表现，结果表明ViT在这些指标上优于传统CNN。此外，数据增强技术也被应用，以提升模型的泛化能力。该研究指出，ViT在超声图像分析中具有作为传统CNN有力替代品的潜力。

另一篇文献则评估了基于Mamba的模型，如VMamba和Vim，用于乳腺超声图像分类。研究比较了这些模型在不同数据集上的表现，并分析了它们在实际应用中的优势和局限性。这些研究为后续探索更先进的模型提供了参考，同时也指出了当前方法在处理复杂图像数据时的不足。

本文的方法论部分展示了所提出框架的结构，如图1所示，该图详细描述了方法的逐步流程。每个步骤的说明如下：

第一步：数据集收集（输入数据）。
该步骤涉及获取用于分析的乳腺超声图像数据集，包括BUSI和Breast-Lesions-USG数据集。这些数据集为模型的训练和评估提供了基础，确保了实验的全面性和代表性。

第二步：图像预处理。
该步骤负责对原始超声图像进行处理，使其更适合后续分析。预处理过程包括以下几个阶段：

阶段1：图像滤波。
这一阶段通过滤波技术去除图像中的噪声，提高图像的清晰度和对比度，为后续特征提取奠定基础。

阶段2：图像增强和数据增强。
该阶段通过增强技术改善图像的视觉效果，同时利用数据增强方法增加训练数据的多样性，提升模型的泛化能力。

阶段3：图像归一化。
这一阶段对图像的像素值进行标准化处理，确保不同图像之间的数据一致性，提高模型的训练效率和预测准确性。

第三步：模型构建和训练。
该步骤涉及构建SwinEff-AttentionNet模型，并使用预处理后的数据进行训练。模型的构建基于分层特征提取和多任务学习的理念，通过融合不同的模块，实现对病灶的全面分析。

在所提出的模型部分，SwinEff-AttentionNet的架构如图2所示，该架构由两个主要组件构成：编码器模块和解码器模块。编码器模块设计用于提取分层特征表示，能够捕捉输入超声图像中的高维和低维细节。解码器模块则负责对提取的特征进行上采样，恢复其原始空间分辨率，从而生成准确的病灶分割结果。除了病灶分割，该模型还能够进行病灶分类，通过共享特征表示提升分类的准确性。

在结果分析部分，我们对六种基于Transformer的模型进行了评估，包括Vision Transformer（ViT）、Data-efficient Image Transformer（DeiT）、提出的SwinEff-AttentionNet、Convolutional Vision Transformer（CvT）、Pyramid Vision Transformer（PVT）以及Cross Vision Transformer（CrossViT）。评估在两个数据集——BUSI和Breast-Lesions-USG上进行，使用了标准的评估指标，如准确率（accuracy, Acc）、精确率（precision, Pre）、召回率（recall, Rec）、F1分数、Matthews相关系数等。评估结果表明，SwinEff-AttentionNet在分类任务中表现出色，其准确率分别达到了98.50%和95.84%，显著高于其他方法在相关研究中的表现。

在比较分析部分，提出的SwinEff-AttentionNet模型在分类任务中超越了其他Transformer模型，如ViT、DeiT、CvT、PVT和CrossViT。在BUSI数据集上，SwinEff-AttentionNet的准确率达到了98.50%，远高于其他方法在相关研究中的结果。例如，B. Gheflati等人在另一项研究中使用了ResNet和B/32模型，分别取得了83%和82%的准确率。同样，A. Nasiri-Sarvi等人在另一项研究中使用了Vim模型，取得了较高的准确率。这些研究结果表明，SwinEff-AttentionNet在分类任务中的表现优于现有模型，进一步凸显了其在乳腺超声图像分析中的优势。

在结论部分，本研究提出了SwinEff-AttentionNet，这是一种创新的混合框架，结合了Swin Transformer、EfficientNet和ELSA模块，用于乳腺超声图像分析。模型在分割和分类任务中均表现出色，其在BUSI和Breast-Lesions-USG数据集上的准确率分别达到了98.50%和95.84%，精确率和召回率均超过94%，显著优于现有的ViT、DeiT、CvT、PVT和CrossViT等模型。这种双重任务特性不仅提升了模型的诊断能力，还为临床医生提供了更全面的分析工具，有助于提升乳腺癌的诊断效率和准确性。

在作者贡献声明中，Iqra Nissar负责撰写原始稿件、可视化、资源获取、方法论设计和数据管理；Shahzad Alam负责撰写和编辑、验证、监督、调查和正式分析；Sarfaraz Masood负责撰写和编辑、可视化、验证和监督。这些贡献确保了研究的全面性和专业性。

在利益冲突声明中，作者声明他们没有已知的可能影响本文报告工作的竞争性财务利益或个人关系。这一声明保证了研究的客观性和公正性。

综上所述，SwinEff-AttentionNet模型在乳腺超声图像分析中展现出卓越的性能，其在分类和分割任务中的表现优于现有模型。该模型通过整合多种先进的深度学习模块，提升了对复杂图像数据的处理能力，并为临床医生提供了可靠的诊断工具。未来的研究可以进一步探索该模型在其他医学成像任务中的应用，以及如何优化其在不同数据集上的泛化能力。此外，还可以研究如何将该模型与现有的CAD系统相结合，以提升整体的诊断效率和准确性。这些探索将有助于推动乳腺癌诊断技术的发展，为患者提供更优质的医疗服务。