利用大型语言模型提升临床记录中的药物使用检测能力

《Drug and Alcohol Dependence》：Enhancing substance use detection in clinical notes with large language models

　　中药使用检测挑战及大型语言模型性能研究

　　这项研究聚焦于通过自然语言处理（NLP）技术，尤其是大型语言模型（LLMs）在电子健康记录（EHRs）中识别物质使用行为的潜力。电子健康记录作为医疗数据的重要来源，包含了大量关于患者健康状况和行为的信息，但其中关于物质使用的内容往往以非结构化文本的形式存在，比如自由文本笔记。这些文本通常使用多样化的术语，并可能包含否定信息，因此需要仔细的上下文理解才能区分相关使用与历史提及或否认的情况。为了应对这一挑战，研究人员利用MIMIC-III/IV的出院摘要数据集，创建了一个大型的标注数据集，旨在支持未来系统性的物质使用监测，并评估多种LLMs在识别八种物质使用类别方面的性能表现。

在研究过程中，团队发现，经过微调的模型Llama-DrugDetector-70B在大多数个体物质识别任务中表现出接近完美的F1分数，而在更复杂的任务如处方阿片类药物滥用和多物质使用方面也取得了显著的成绩。这些结果表明，LLMs在物质使用识别方面具有显著的优势，展示了其在临床决策支持和研究中的应用前景。然而，研究也指出，进一步的工作需要在模型的可扩展性方面进行探索，以确保其能够处理更大的数据集并适应不同的临床环境。

在方法部分，研究人员首先构建了一个包含大量医疗记录的数据库，并通过手动标注的方式确定了物质使用类别。随后，他们对多种模型进行了评估，包括BERT风格的编码器模型和GPT风格的解码器模型。通过对比不同模型在零样本、少样本和微调配置下的表现，研究团队发现，尽管某些模型在特定任务上表现出色，但整体而言，LLMs在检测物质使用方面展现出更强的能力。特别是在零样本设置下，某些模型如Llama-3.1-70B-Instruct和DeepSeek-R1-Distill-Llama-70B表现优异，显示出LLMs在无需大量任务特定数据的情况下，也能有效识别物质使用信息。

此外，研究还涉及了不同模型在不同数据集分割下的表现评估，包括训练集、验证集和测试集。通过这些数据集，团队能够计算出一系列诊断指标，如F1分数、准确率、敏感性、正预测值、负预测值和特异性。结果表明，微调模型在检测性能上明显优于未微调的模型，特别是在处理多物质使用时。同时，研究还探讨了模型在不同种族群体中的表现差异，发现虽然存在一定的差距，但整体上差距较小，且大多数模型的F1分数均超过公平性评估的常见阈值。

研究结果部分展示了不同模型在检测个体物质使用时的表现，其中Llama-DrugDetector-70B在多项指标上表现最佳，特别是在多物质使用检测中，其F1分数达到了0.917，而在处方阿片类药物滥用方面则为0.815。这些高分表明，Llama-DrugDetector-70B在识别复杂物质使用模式方面具有显著优势。然而，模型仍然存在一些错误，如基于不足证据的假设、遗漏物质提及或混淆相似术语。这些错误提醒研究者需要进一步优化模型，以更好地理解和处理医疗文本中的隐含信息和细微语言线索。

研究还比较了基于结构化ICD代码的物质使用检测与基于文本分析的方法。结果显示，ICD代码在检测特定物质使用方面覆盖率较低，而基于文本的检测方法则能够更全面地捕捉物质使用信息。这表明，结合非结构化文本分析和结构化数据，可以更有效地监控物质使用趋势，为公共卫生干预和政策制定提供支持。

尽管研究取得了显著成果，但也存在一些局限性。例如，研究数据仅来自一个医疗中心，可能影响模型的普遍适用性。此外，数据集的时间范围主要集中在2001年至2019年，未能涵盖近年来出现的新型药物，如芬太尼。这可能会影响模型对当前物质使用趋势的检测能力。同时，模型在区分患者的历史使用与当前使用方面也存在不足，这可能导致对当前物质使用障碍的高估。

研究的结论指出，现代LLMs在结合少量样本微调的情况下，能够实现接近完美的物质使用检测性能，超越了传统的NLP方法和专有模型。这一发现对于医疗领域具有重要的实践意义，不仅能够帮助医院管理者实时识别系统性物质使用风险，还能为公共卫生机构提供从非结构化EHR数据中检测新兴药物趋势的工具。然而，研究也强调了模型在减少过度解释错误和优化计算成本方面的挑战，建议未来的工作应探索新的方法，如联邦学习框架，以提高模型的泛化能力和适应性。

通过开放源码的方式发布模型和基准，研究团队希望激发社区对这一临床NLP领域进行进一步改进，以应对不断变化的药物市场和临床实践。这一研究不仅为物质使用识别提供了新的方法，也为未来的医疗数据处理和分析奠定了基础，有助于推动更加精准和高效的临床决策支持系统的发展。