基于简化标签的语义分割数据集创作：突破医学标注困境，推动手术影像分析发展

　　为解决腹腔镜图像语义分割中数据集标注耗时、需专业医学标注人员的问题，研究人员开展了 “语义分割数据集创作与简化标签” 主题研究。结果表明简化标签可行，可用于多数据集训练。这为医学图像语义分割研究提供新方向，推动相关技术发展。

为了促进科学的传播，生物通采集了这篇文章，如需英文原文，请点击！订阅BioHot索取原文

　　在医疗技术不断进步的今天，腹腔镜手术凭借创伤小、恢复快等优势，在腹部和盆腔手术领域广泛应用。借助机器人辅助和人工智能技术，腹腔镜手术正朝着更精准、智能的方向发展。然而，语义分割作为手术辅助系统开发的关键环节，却面临着重重挑战。

语义分割旨在对图像中的每个像素进行分类，为手术提供详细的解剖结构和操作区域信息，对手术导航、风险评估等至关重要。但创建用于语义分割的标注数据集极为耗时，且需要标注人员具备专业医学知识，这使得数据集规模受限，影响了模型的泛化能力。为了解决这些问题，来自名古屋大学（Graduate School of Informatics, Nagoya University）等机构的研究人员展开了深入研究，相关成果发表在《International Journal of Computer Assisted Radiology and Surgery》上。

免费索取人源化小鼠模型助力遗传病基因治疗研究资料领 取

研究人员提出了简化标签（simplified labels）这一创新概念。与传统空间弱标签不同，简化标签是语义上的弱化，旨在降低对标注人员医学专业知识的要求，让非医学专业人员也能参与到医学数据集的创作中。

在研究过程中，研究人员使用了两个主要的关键技术方法。其一，采用五折交叉验证（fivefold cross-validation）的方式，将数据集划分为训练集和测试集，多次重复实验，以确保实验结果的可靠性；其二，选用了 DeepLabV3 和 FCN 两种模型，并以 ResNet 为编码器，利用 Adam 优化器进行训练，同时针对类别不平衡问题，选择 Combo Loss 作为损失函数，以衡量模型预测结果与真实标签之间的差异 。

广告 安捷伦细胞培养和成像微孔板新品免费试用申请—

研究结果如下：

1. 训练策略：由于简化标签和强标签（strong labels，包含图像中每个像素的精确类别信息）的张量大小不匹配，无法在同一批次中训练，研究人员设计了三种训练策略并进行比较。结果发现，混合策略（mixed approach），即将简化数据和强标签数据交替训练，表现最佳。在使用 FCN 模型的实验中，混合策略下模型的最终平均 Dice 评分达到 0.835，高于简化优先（simplified first）和强标签优先（strong first）策略。
2. 简化标签的影响：通过实验探究简化数据对模型性能的影响，发现简化标签对 DeepLabV3 模型总是有益的，即使简化数据量远超强标签数据。对于 FCN 模型，少量简化数据可能会产生负面影响，但整体趋势与 DeepLabV3 模型一致。而且，医学标注人员的强标签数据对模型性能提升更为显著，一个医学标注人员的贡献相当于多个非医学标注人员。
3. 简化其他数据集：针对多数据集训练中数据集不兼容的问题，研究人员以 EndoVis2018 数据集为例进行实验。将两个数据集的类别简化为 “生物”“非生物” 和 “CholecSeg8k 背景”，并应用简化标签工作流程。结果表明，两个模型均从额外数据中受益，DeepLabV3 模型在使用额外数据集后平均 Dice 评分提高了约 1%。

研究结论和讨论部分指出，简化标签为数据集创作和多数据集训练提供了有效框架。在医学标注人员有限或项目时间紧张的情况下，非医学标注人员借助简化标签参与标注工作，有助于扩大数据集规模，提高标注效率。尽管简化标签并非适用于所有情况，例如胃肠道等难以学习的类别可能会因简化标签而导致性能下降，但总体而言，其在设计数据集创作项目时仍具有重要的参考价值。这一研究成果为医学图像语义分割领域提供了新的思路和方法，有望推动腹腔镜手术辅助系统等相关技术的进一步发展 。

打赏

下载安捷伦电子书《通过细胞代谢揭示新的药物靶点》探索如何通过代谢分析促进您的药物发现研究

10x Genomics新品Visium HD 开启单细胞分辨率的全转录组空间分析！

欢迎下载Twist《不断变化的CRISPR筛选格局》电子书

单细胞测序入门大讲堂 - 深入了解从第一个单细胞实验设计到数据质控与可视化解析

下载《细胞内蛋白质互作分析方法电子书》