MaskGAN：一种基于深度学习的虚拟光声组织染色方法，具备感兴趣区域补偿功能

《Optics & Laser Technology》：MaskGAN: a virtual photoacoustic histological staining method with interest region compensation based on deep learning

　　紫外光声显微镜（UV-PAM）通过DNA/RNA的固有光学吸收差异实现细胞核可视化，但生成的灰度图像与病理学家惯用的H&E染色图像存在显著差异，制约临床转化。本文提出基于ROI补偿机制的MaskGAN虚拟染色方法，结合循环一致性网络架构和二分类交叉熵损失函数，实现H&E风格转换。实验表明该方法在PSNR、MS-SSIM等质量指标及核特征量化误差上均优于现有方法，有效解决样本制备耗时（24h→<10min）和临床应用适配问题。

　　这项研究聚焦于一种新的虚拟染色方法，旨在改善紫外光声显微镜（UV-PAM）在病理学应用中的表现。UV-PAM技术通过利用细胞核中DNA和RNA的内源性光学吸收特性，能够实现细胞核的可视化，而无需复杂的染色步骤。然而，当前的光声组织图像通常以灰度图的形式呈现，基于光声信号的强度变化，这种表现形式与病理学家习惯使用的苏木精和伊红（H&E）染色图像存在显著差异。由于这种不匹配，光声成像在临床病理应用中的转化受到限制。因此，研究人员提出了一种基于感兴趣区域（ROI）补偿机制的虚拟染色方法，以解决这一问题。

该方法采用了一种基于循环一致性网络架构的先验引导弱监督模型，并引入了二元交叉熵损失函数，用于对真实图像和生成图像的核掩码进行约束。这种设计使得模型能够在学习过程中更关注生物上有意义的潜在映射关系，同时抑制非关键信息，如图像噪声。实验结果显示，ROI补偿机制的引入显著提升了多维图像质量指标，特别是在网络深度从10层到22层的变化范围内。此外，该方法在核特征的量化误差方面也表现出更低的数值，进一步验证了其有效性。与现有最先进的方法相比，MaskGAN在所有评估指标中均取得了最佳性能，显示出其在虚拟染色和细胞核细节保留方面的卓越能力。

这项虚拟染色方法的提出，为光声成像技术在临床病理学中的应用提供了新的可能性。传统病理诊断依赖于H&E染色，这一过程不仅耗时耗力，而且容易因染色不均导致图像解读困难。而UV-PAM作为一种无标记、无需载玻片的成像技术，具备快速成像和操作安全的优势，适用于复杂的临床环境。然而，由于图像表现形式与H&E染色图像不一致，导致其在临床应用中受到一定限制。通过将光声图像转换为H&E风格的图像，可以提高图像的可读性和诊断可靠性，从而推动该技术在临床中的应用。

在当前的医学图像风格迁移技术中，伪彩色映射和形态学图像处理方法是常见的两种方式。这些方法主要基于颜色和纹理等低级特征的转换，用于诸如器官和组织边缘检测、图像恢复和压缩、以及增强高频信息以提高图像清晰度等任务。然而，这些方法在处理医学图像时，往往需要针对每个像素设计复杂的形态学算法，这不仅耗费大量时间和人力，而且当数据集发生变化时，算法可能需要重新调整。因此，传统的风格迁移方法在处理光声图像的虚拟染色任务时存在一定的局限性。

随着深度学习技术的发展，基于深度学习的风格迁移方法逐渐成为研究热点。这类方法通过隐藏层自主总结两个数据集的特征模式，避免了复杂的算法设计，使得虚拟染色过程更加高效。一旦模型训练完成，从光声组织成像、数据预处理到虚拟染色推理的整个流程时间可以从超过24小时缩短至不到10分钟。这一显著的时间优势，使得该方法在手术中实时病理分析和患者预后分层方面具有重要的应用价值。

在虚拟染色方法的研究中，已有多种尝试。例如，Kang等人通过引入结构相似性损失（SSIM loss）来优化生成对抗网络（GAN）在UV-PAM图像上的应用，从而提高图像的结构保真度。然而，这种方法对亮度和对比度的变化较为敏感，难以处理具有复杂纹理的区域。Cao等人则通过增加生成器中每个残差块的卷积层数，实现了对术中冷冻骨组织切片的H&E虚拟染色，有助于病理学家快速识别癌症特征。然而，这种方法显著增加了模型的复杂度，导致在处理特征相对简单的数据集时，更容易出现过拟合的问题。Bai等人则采用条件GAN结合注意力门和双卷积残差块，将自发荧光图像转换为等效的明场HER2染色图像，但这种方法依赖于浅层特征，容易受到弱表达或高噪声条件的影响。StyleShot作为一种基于扩散模型的高级方法，能够利用预训练模型进行风格迁移，但其在处理大尺寸的病理图像时，需要针对每张图像调整诸如控制强度、风格强度、步数和引导比例等参数，这在一定程度上限制了其在虚拟染色任务中的效率和实用性。

基于上述问题，本研究提出了一种基于循环一致性网络的虚拟染色方法，旨在将光声图像转换为H&E风格的图像。该方法的核心在于引入ROI补偿机制，以提升关键区域的结构保真度和染色一致性。在第一阶段，研究团队通过选择并训练最优的实例分割网络，例如Yolo v8，来指导模型关注病理学家关注的区域。Yolo v8通过引入残差连接和多尺度特征融合策略，显著提升了对细粒度结构的建模能力，从而实现了更高效和稳健的特征提取和实例分割。在第二阶段，研究团队将ROI补偿模块嵌入到生成对抗网络的训练过程中，通过二元交叉熵损失函数对真实图像和生成图像的核掩码进行约束，进一步优化模型性能。

为了验证该方法的有效性，研究团队进行了多项图像评估指标的测试，包括峰值信噪比（PSNR）、多尺度结构相似性指数（MS-SSIM）和结构相似性指数（SSIM）。同时，还对核特征的定量差异进行了统计分析，并进行了定性实验。实验结果表明，MaskGAN在提升图像质量指标和降低核特征的量化误差方面表现优异，相较于现有方法，其在虚拟染色和细胞核细节保留方面具有更强的能力。这不仅提高了光声图像的可读性，还增强了其在临床病理诊断中的实用性。

本研究的成果为光声成像技术在病理学中的应用提供了新的思路和方法。通过将光声图像转换为H&E风格的图像，可以显著提升病理学家对图像的解读效率和准确性，从而推动该技术在临床环境中的应用。此外，该方法还具备良好的可扩展性，可以在不同的数据集和应用场景中进行调整和优化。例如，对于其他类型的组织切片或不同的染色需求，可以通过调整ROI补偿模块和实例分割网络来实现更精确的虚拟染色效果。

从技术角度来看，MaskGAN的成功在于其对ROI补偿机制的巧妙应用，以及对实例分割模型和生成对抗网络的深度整合。实例分割模型负责识别和定位细胞核，为后续的虚拟染色提供精确的区域指导；而生成对抗网络则负责将光声图像转换为H&E风格的图像，通过学习两个数据集之间的特征映射关系，实现更自然和真实的风格迁移效果。这种两阶段的训练策略不仅提高了模型的性能，还降低了对数据集的依赖性，使得方法更加稳健和通用。

此外，该研究还强调了数据集在虚拟染色方法中的重要性。由于光声成像和H&E染色图像的获取往往需要不同的设备和流程，数据集的构建和预处理是方法实现的关键步骤。研究团队通过获取并预处理两组H&E图像和光声图像，构建了一个高质量的数据集，为模型的训练和评估提供了坚实的基础。同时，数据集的多样性也对模型的泛化能力提出了更高的要求，确保其在不同类型的组织样本中都能保持良好的性能。

从应用角度来看，这项研究不仅为光声成像技术在病理学中的应用提供了新的可能性，还为其他医学成像技术的虚拟染色方法提供了参考。例如，类似的方法可以应用于超声成像、磁共振成像（MRI）或光学相干断层扫描（OCT）等技术，以提升其在临床诊断中的表现。此外，该方法还可以用于其他类型的医学图像处理任务，如图像增强、分割和分类等，为医学影像分析提供更加智能化的解决方案。

从未来研究方向来看，进一步优化ROI补偿机制和实例分割模型的性能，将是提升虚拟染色效果的重要途径。例如，可以探索更先进的实例分割算法，以提高对细胞核的识别精度；同时，可以引入更复杂的网络结构，以增强模型对不同图像特征的适应能力。此外，研究团队还可以考虑将该方法与其他医学成像技术相结合，实现多模态图像的融合分析，从而提供更加全面的病理信息。

本研究的成果也表明，随着深度学习技术的不断发展，医学图像处理正朝着更加智能化和自动化的方向迈进。通过将先进的深度学习模型应用于光声成像技术，可以显著提升其在临床中的实用价值。同时，这种方法也为其他医学成像技术的虚拟染色提供了新的思路，有助于推动医学影像分析的创新和发展。

在临床实践中，光声成像技术的广泛应用依赖于其在病理诊断中的表现。而虚拟染色方法的引入，使得光声图像能够更接近传统病理图像的风格，从而提高其在临床中的可接受度和实用性。这不仅有助于病理学家更快地进行诊断，还能够减少对传统染色方法的依赖，提高诊断的效率和准确性。此外，该方法还具备良好的可重复性和稳定性，使得其在实际应用中更加可靠。

综上所述，这项研究通过提出一种基于ROI补偿机制的虚拟染色方法，成功解决了光声成像在临床病理应用中的关键问题。该方法在提升图像质量和降低核特征的量化误差方面表现出色，为光声成像技术的临床转化提供了重要的技术支持。未来，随着相关技术的不断进步和数据集的不断完善，虚拟染色方法有望在更广泛的医学成像领域中得到应用，为临床诊断和治疗提供更加精准和高效的解决方案。