CONTEST方法：一种用于预测性增强智能验证研究样本量估算的ONEST通用化框架

　　本研究针对FDA指南未涵盖的多分类主观性检验验证难题，提出CONTEST方法（病例与观察者需求评估主观性检验），通过参数化概率分布拟合一致性与不一致性分布，为资源受限环境下增强智能(AI)工具的验证提供样本量计算方案，解决了多分类算法验证缺乏统计学框架的核心问题。

　　

在临床实验室实践中，验证检测方法是否符合性能特征要求是报告结果前的必要环节。随着机器学习算法的发展，多分类决策支持工具逐渐进入临床应用，但美国食品药品监督管理局(FDA)的测试验证指南明确排除了多分类问题的考量。这给解剖病理学等领域的主观性模式识别任务带来了巨大挑战——这些任务通常缺乏参考方法，无法计算传统准确性指标，且观察者间可靠性(Inter-Rater Reliability, IRR)指标往往显著低于90%。

更棘手的是，实验室主任在签署验证计划时面临实际困境：需要多少样本？需要多少观察者？传统的"经验法则"（如每类20个阳性样本）或CLSI（美国临床和实验室标准协会）要求的120个样本仅适用于单维分析物，对于全幻灯片成像等主观模式识别任务，虽然美国病理学家协会(CAP)建议至少使用60个病例，但这些建议缺乏严格的统计学基础。

在此背景下，加州大学圣克鲁兹分校的研究团队在《Journal of Pathology Informatics》上发表了一项创新研究，提出了CONTEST（Cases and Observers Needed to Evaluate a Subjective Test）方法，这是对ONEST（Observers Needed to Evaluate a Subjective Test）方法的治疗效应扩展，为预测性增强智能方法的验证研究提供了样本量估算的通用化框架。

研究人员采用的主要技术方法包括：基于完全交叉病例表（包含240例前列腺活检和20名病理学家的9600个观察值）的重采样分析；构建总体符合率(Overall Proportion of Agreement, OPA)曲面（称为sarapes可视化）；使用β分布拟合一致性分布；通过Kolmogorov-Smirnov检验验证分布拟合优度；基于Neyman-Pearson引理进行α和β误差计算。

方法学创新：从ONEST到CONTEST的拓展

研究团队发现，对于主观性测试，当预测性AI工具提供决策支持时，验证参数的确定更适合被构建为治疗效应分析。传统的ONEST方法通过绘制OPA随观察者数量增加的曲线（OPA曲线）来分析主观性测试，而CONTEST方法则通过绘制OPA随观察者数量和病例数量增加的曲面（OPA曲面）来扩展这一方法。研究人员通过随机选择观察者和病例的独特排列组合来组装这些OPA曲面，并将其分解为[观察者，病例，OPA]空间中的组成向量，从而获得辅助和非辅助数据集的概率密度。

分布拟合与统计验证

研究团队对所有9120个病例和观察者数据子集进行了单样本Kolmogorov-Smirnov拟合优度检验，发现数据通常很好地拟合β分布。虽然K-S值由于数据量庞大而接近0，但可视化检查强烈表明经验累积分布函数和理论累积分布函数是一致的。这为使用参数化方法进行样本量估算提供了统计学基础。

样本量估算的实际应用

通过在每个观察者和病例数量下计算辅助-非辅助分布对的OPA截点（其中α=0.05），研究人员能够确定满足特定统计功效所需的病例和观察者数量。以Steiner研究中的算法为例，对于α=0.05和β=0.20的标准，两名观察者需要评估至少189个病例（包括使用和不使用增强智能辅助的情况），预期的OPA截点约为0.749。这为实验室主任提供了签署验证计划的可防御依据。

方法学比较与优势

与需要地面实况的多读者多病例(MRMC)方差分析方法不同，CONTEST方法不依赖于"诉诸权威"的地面实况确定，这在许多资源受限的设置中尤为重要。该方法适用于无论干预措施是执行分类任务的深度神经网络还是如PD-L1这样的免疫组织化学染色剂。

研究结论表明，CONTEST方法为验证预测性AI工具所需的最小病例和观察者数量计算提供了统计学严谨的方案，解决了多分类主观性测试验证中的关键方法学问题。讨论部分强调，这一方法特别适合资源受限的非学术环境，因为它不依赖于专家共识的地面实况确定。研究人员鼓励病理学家和其他诊断医生要求供应商发布完全交叉的病例表（特别是观察者的病例确定），因为有且仅有这种方式能够正确计算所需的病例和观察者数量。

这项研究的重要意义在于为增强智能工具在临床实践中的验证提供了可量化的统计学框架，特别是针对FDA指南尚未涵盖的多分类问题，为病理学实践在非学术环境中的标准化发展提供了关键方法学支持。