提高从临床文本中提取信息的研究报告质量：基于共识的报告指南制定方案

《JMIR Research Protocols》：Improving the Reporting Quality of Studies on Information Extraction From Clinical Texts: Protocol for the Development of a Consensus-Based Reporting Guideline

　　临床信息抽取（IE）研究存在方法差异和报告不一致问题，CINEX指南通过三阶段德尔菲法及共识会议制定标准化报告框架，涵盖信息模型、架构、数据、标注和结果5维度，支持规则与深度学习等多种方法，旨在提升透明度和可重复性。

　　信息提取（IE）在医疗健康领域正变得越来越重要，尤其是在临床文本处理方面。随着人工智能技术的快速发展，特别是大规模语言模型（LLMs）的应用，信息提取的能力得到了显著提升。然而，这一技术的迅速演进也带来了方法、术语和评估标准的碎片化，使得不同研究之间的比较和复制变得困难。此外，缺乏统一的报告标准，进一步影响了研究结果的透明度和可推广性。为了应对这些挑战，本研究提出了一种新的报告指南——临床信息提取（CINEX）指南，旨在为临床信息提取研究提供结构化、专家验证的指导，从而提升研究的严谨性、透明度和可比性。

在当前的医疗信息处理领域，信息提取技术被广泛应用于从非结构化文本中自动识别和组织关键信息。这些技术不仅提高了临床叙事的再利用效率，还支持电子健康记录中的决策制定、研究和自动化。具体的应用场景包括疾病表型识别（如特定疾病的提取）、药物相关任务（如剂量信息的提取）以及临床流程优化（如不良事件的检测）。此外，信息提取还可以减轻人工病历审查的负担，使大规模流行病学研究成为可能，并支持实时决策支持系统的构建。

尽管信息提取技术在近年来取得了显著进展，但其在临床研究中的报告方式仍存在不一致的问题。现有的报告框架主要针对人工智能在医疗健康领域的应用，例如临床试验中的AI干预、预测模型的构建等。这些框架在促进透明度和可重复性方面发挥了重要作用，但它们并未覆盖信息提取在临床文本中的独特需求。信息提取任务与诊断模型或干预措施的评估方法存在显著差异，因此需要专门的报告指南来规范这一领域。

本研究的CINEX指南正是为解决这一问题而设计的。该指南的制定过程遵循了现有的报告指南开发方法，包括一个为期三轮的电子德尔菲（eDelphi）研究和最终的面对面共识会议。德尔菲方法是一种结构化的、迭代的专家共识达成过程，适用于信息提取研究的报告指南开发。在eDelphi研究中，参与者将对信息提取研究的各个报告项进行评估，这些报告项包括信息模型、系统架构、数据来源、注释策略和结果等关键维度。评估过程采用10分制，仅包含标签化的端点（“完全不相关”和“完全不成熟”至“非常相关”和“非常成熟”），并且每个报告项还包含一个默认的“无回答”选项。这种评分方式旨在提高评分的精确度，而不仅仅依赖传统的5分制。

在eDelphi研究的第一轮中，参与者将对初步的28项报告内容进行评估，这些内容是从对基于大规模语言模型的信息提取研究的综述中提取并制定的。每项报告内容都会被参与者评估其相关性和成熟度，并在后续的反馈环节中进行调整。第二轮和第三轮中，参与者将基于前一轮的反馈和评分结果，重新评估未被排除的报告项。此外，所有参与者将在每轮结束后对报告项进行重新表述和描述，以确保其清晰性和适用性。最终的面对面共识会议将在MEDINFO 2025会议期间举行，旨在对达成共识的报告项进行最终确认和表述，同时解决可能存在的小范围模糊性。

在制定CINEX指南的过程中，还考虑了伦理问题。该研究已获得伯恩州伦理委员会的豁免（ID: Req-2025-00587），所有参与者在参与前均给予了电子知情同意。此外，指南的制定过程遵循了EQUATOR网络的规范，该网络致力于提高健康研究的透明度和准确性。CINEX指南的制定方法也参考了Moher等人提出的健康研究报告指南开发方法，这些方法已被广泛应用于多个已获得EQUATOR网络认可的报告指南中，包括具有技术重点的指南（如CONSORT-AI）。

在指南制定完成后，将进行一系列的后续活动，以确保其长期的适用性和影响力。这些活动包括将指南发布在一个开放获取的在线平台上，以供研究人员提供反馈；邀请专家对指南进行试点测试，并评估其对报告质量的影响；以及定期由执行小组对指南进行审查，根据新的证据和方法更新指南内容。此外，我们还寻求在多个生物医学信息学期刊中获得对CINEX指南的认可，以促进其在学术界的广泛采用。

CINEX指南的设计目标是提供一个技术中立的框架，适用于各种信息提取方法，包括基于规则的系统、传统的机器学习方法以及大规模语言模型和混合系统。这种设计确保了不同研究方法之间的透明度和可比性，使得研究者能够根据自身的方法选择合适的报告项，并在统一的框架下进行交流和比较。此外，指南还将包括适用于计算机科学和医学领域的示例项，以支持跨学科的广泛采用。

在讨论部分，我们进一步分析了CINEX指南的潜在影响和意义。该指南的制定弥补了当前临床信息提取研究中的一个重要空白，提供了一个专门的、基于共识的报告框架。通过这种框架，信息提取研究的透明度、可重复性和可比性将得到显著提升，从而促进该领域的发展。此外，指南的制定过程还将通过详细的解释和阐述文档（E&E文档）进行支持，以帮助研究人员更好地理解和应用指南内容。

在实施过程中，我们也意识到一些潜在的局限性。首先，CINEX指南的制定过程是基于健康研究领域的报告指南开发方法，而该领域与计算机科学存在显著的交叉。因此，指南的制定过程中需要充分考虑计算机科学的学科特点，并在实际应用中测试其在不同领域的适用性。其次，参与者招募部分依赖于专业网络，这可能会限制研究的多样性。尽管指南的制定过程中已经明确了一些共识阈值和评分方法，但这些方法仍然具有一定的主观性。此外，最终的面对面共识会议可能会引入社会影响和新的观点，这些观点可能未在eDelphi研究中出现。最后，随着大规模语言模型和多模态方法的快速发展，CINEX指南可能需要进行未来的更新，以适应新的技术趋势。

总的来说，CINEX指南的制定不仅有助于提高临床信息提取研究的透明度和可比性，还为未来的研究提供了统一的报告框架。通过这一框架，研究人员可以更有效地分享他们的研究成果，促进跨学科的合作，并推动人工智能在医疗健康领域的进一步发展。此外，指南的制定过程也遵循了严格的伦理规范，确保了研究的合法性和伦理性。在后续的推广和应用过程中，我们还将继续与期刊和学术机构合作，以确保指南的广泛采用和长期影响力。