Loon Lens 1.0：基于置信度引导人机协同工作流的自主文献筛选系统在系统评价中的验证研究

　　本研究针对系统评价中标题与摘要（TiAb）筛选工作量大、效率低下的问题，开发了基于智能代理的Loon Lens 1.0平台，实现自主文献筛选与置信度引导的人机协同（HITL）工作流程。通过对8项系统评价（3,796篇文献）的验证，该系统展现出98.9%的灵敏度与95.2%的特异性，仿真实验表明仅需对5.8%的文献进行人工复核即可将精确度提升至89.9%，显著提高系统评价效率与可靠性。

　　

在当今信息爆炸的时代，系统评价（Systematic Review, SR）作为证据医学的基石，面临着海量文献处理的巨大挑战。其中标题与摘要（Title and Abstract, TiAb）筛选环节尤为耗时费力，传统依赖人工双审（dual-human review）与仲裁（adjudication）的模式不仅成本高昂，且效率受限。随着人工智能技术的快速发展，如何将智能代理（agentic AI）引入文献筛选流程，在保证准确性的同时大幅提升效率，成为系统评价方法论研究的前沿焦点。

加拿大药品 agency 的研究团队Ghayath Janoudi、Mara Uzun、Tim Disher等人在《Value in Health》发表了一项验证研究，对自主研发的Loon Lens 1.0平台进行了全面评估。该平台旨在通过人工智能实现完全自主的TiAb筛选，并创新性地引入置信度评分（confidence score）机制，以指导人类专家有针对性地介入复核，形成置信度引导的人机协同（Confidence-Guided Human-in-the-Loop, HITL）工作流程。

研究团队选取了8项已完成的系统评价作为验证数据集，包含3,796篇引文（citation），其中287篇为最终纳入文献（include），纳入率为7.6%。以经过双人独立筛选并经仲裁确认的结果作为金标准，对比Loon Lens 1.0平台的自主筛选性能。主要评估指标包括准确度（accuracy）、灵敏度（sensitivity，即召回率recall）、精确度（precision）和特异性（specificity），并通过Bootstrap法生成95%置信区间。为进一步探索人机协同策略，研究人员构建了逻辑回归（logistic regression）模型，分别使用（i）仅置信度评分和（ii）置信度评分加纳入/排除（Include/Exclude）决策作为预测变量，预测筛选错误概率，进而模拟不同HITL策略下的性能表现。

技术方法上，研究基于预定义的 eligibility criteria（纳入排除标准），通过自主代理人工智能平台对引文进行向量化表征与分类决策，生成每篇文献的纳入建议及置信度评分；采用统计模拟（bootstrapping）计算性能指标置信区间；利用多变量逻辑回归建模错误概率；通过阈值优化实现人机协同工作流的仿真推演。

研究结果显示，Loon Lens 1.0在自主筛选模式下整体准确度达到95.5%（95% CI 94.8–96.1），灵敏度高达98.9%（97.6–100），特异性为95.2%（94.5–95.9），精确度为63.0%（58.4–67.3）。值得注意的是，错误决策集中出现在低至中等置信度（Low–Medium-confidence）的纳入建议中。扩展逻辑回归模型（置信度+决策）展现出优异的区分能力（C-index 0.98），预测低置信度纳入建议的错误概率高达75%，而极高置信度（Very-High-confidence）排除建议的错误概率低于0.1%。

基于此，研究人员模拟了两种人机协同策略：策略一仅对低和中置信度的纳入文献进行人工复核（共145篇，占总量3.8%），可使精确度提升至81.4%，整体准确度达到98.2%，同时保持99.0%的灵敏度；策略二额外加入高置信度纳入文献进行复核（共221篇，占总量5.8%），进一步将精确度推升至89.9%，整体准确度达到99.0%。

研究结论表明，Loon Lens 1.0能够以98.9%的灵敏度和95.2%的特异性复现经仲裁的人工筛选结果。通过置信度引导的人机协同工作流，仅需对不超过5.8%的文献进行人工复核，即可显著降低假阳性（false positive），将精确度从63.0%提升至89.9%，同时维持高灵敏度并将整体准确度提高至99.0%。该研究验证了人工智能代理在系统评价文献筛选中的可靠性，并创新性地提出通过置信度评分精准定位需人工干预的文献子集，为大幅提升系统评价效率提供了方法论支持。其提出的置信度引导HITL工作流程有望在学术研究、政策制定和临床实践指南开发中发挥重要价值，推动证据合成方法的智能化变革。