HSFSurv：基于多模态特征分解与混合监督的癌症生存分析新框架

　　本综述提出了一种创新的混合监督框架HSFSurv，通过多模态特征分解（MFD）模块将病理图像与基因组特征解耦为共有关联和模态特异性成分，并引入个体级别不确定性最小化（UMI）和特征级别多模态队列对比学习（MCF）模块，有效缓解特征空间异质性，在五个TCGA癌症数据集上实现当前最优（SOTA）生存预测性能。

　　

Highlight

单模态生存分析

生存分析是一种统计方法，专注于模拟感兴趣事件（如死亡或疾病进展）发生前的时长（Ohno-Machado, 2001）。传统上，生存分析依赖于单模态数据源，如临床信息（Hagar等，2014）、病理图像（Yao等，2020；Zhu等，2017）和基因组图谱（Liu等，2017）。特别是组织病理学图像已被纳入生存分析与预测研究中（Luo等）。

整体框架

我们提出了HSFSurv——一个集成多模态数据进行生存分析的混合监督学习框架。如图1所示，HSFSurv首先使用不同编码器提取特征并将其分解为模态共有成分和模态特定成分，随后分为两个阶段进行：共享潜在空间映射和任务特定微调。我们将详细说明这些步骤。

基因组特征编码

遗传数据包含肿瘤相关分子信息（Steyaert等，2023）。我们…

数据集

为评估我们提出的框架在生存分析中的性能，我们使用了来自TCGA的五个数据集：肺腺癌（LUAD，n = 435）、肾透明细胞癌（KIRC，n = 473）、膀胱尿路上皮癌（BLCA，n = 379）、胃腺癌（STAD，n = 354）和结肠腺癌（COAD，n = 410）。具体而言，全切片图像（WSIs）从基因组数据共享（GDC）门户获取，而mRNA表达谱、总生存（OS）时间和删失状态则…

讨论

我们提出HSFSurv——一种基于多模态特征分解的混合监督学习框架，用于癌症患者的生存分析。该框架有效结合病理图像数据和基因组信息以提升生存预测性能。与现有模型相比，HSFSurv在五个不同癌症数据集上均实现了SOTA性能。

如表1所示，不同方法的预后结果凸显出：依赖单模态数据的模型表现较差…

结论

本文中，我们提出了HSFSurv——一种基于多模态特征分解、使用病理图像和基因组谱进行生存分析的混合监督学习框架。该框架包含两个阶段：（1）利用不确定性最小化和队列对比学习进行共享潜在空间映射；（2）由生存结果指导的任务特定表示学习。在五个TCGA癌症数据集上的实验表明，HSFSurv优于其他SOTA方法，证明…