生成式AI模型医学安全警示的纵向衰退:一项2022-2025年的多模态分析

《npj Digital Medicine》:A longitudinal analysis of declining medical safety messaging in generative AI models

【字体: 时间:2025年10月03日 来源:npj Digital Medicine 15.1

编辑推荐:

  本研究针对生成式AI模型(LLMs/VLMs)在医疗应用中安全警示信息缺失的隐患,系统评估了2022至2025年间主流模型对医学问题及影像解读中免责声明的出现频率。研究发现:LLMs的免责声明出现率从2022年的26.3%骤降至2025年的0.97%,VLMs同期从19.6%降至1.05%。尤为关键的是,模型诊断准确性与免责声明呈现显著负相关(r=-0.64, p=0.010),提示性能越强的模型越倾向于省略安全警示。这项发表于《npj Digital Medicine》的研究揭示了AI医疗应用中的重大安全漏洞,呼吁建立动态自适应的医学免责机制。

  
随着ChatGPT 3.5在2022年的推出,生成式人工智能(AI)在医疗领域的应用呈现爆发式增长。大语言模型(Large Language Models, LLMs)和视觉语言模型(Vision-Language Models, VLMs)不仅被临床医生用于辅助诊断和行政事务,公众也日益依赖它们获取健康信息、解读医学报告和影像。然而,这些模型并非为医疗用途设计,其输出内容尽管语气权威,却可能包含不准确或误导性信息。用户若将AI生成内容误认为专业医疗指导,可能导致治疗延误、不当自我护理或错误信任未经验证的信息。医学免责声明(medical disclaimers)作为关键安全措施,旨在阐明模型的局限性并明确声明其不具备提供医疗建议的资格。
尽管普遍认为这些模型会持续提供免责声明,但新兴证据表明事实并非如此。已有研究显示,LLMs能在多种场景下生成类似医疗设备的临床决策支持内容,且往往不加限定。此外,通过提示工程(prompting)和对抗性测试(adversarial testing)可以绕过内置安全机制(即“越狱”,jailbreaking),导致输出内容因提示、用户身份、语境甚至模型版本的不同而出现不一致或错误。为此,研究人员开展了一项纵向研究,系统评估了2022年至2025年间发布的多代LLM和VLM模型,在回应医学问题和解读医学影像时,其输出中医学免责声明的存在情况与一致性。
这项研究发表在《npj Digital Medicine》期刊上。为了回答上述问题,研究人员构建了一个多模态、多领域的医学数据集。该数据集包括1500张医学影像(500张乳腺X线摄影( mammograms)、500张胸部X光片( chest X-rays)、500张皮肤病学图像( dermatology images))以及500个文本医学问题。文本问题来源于研究人员新引入的TIMed-Q(Top Internet Medical Question Dataset)数据集,该数据集捕捉了患者最常搜索的医学查询,反映了真实的健康信息寻求行为。研究评估了来自OpenAI、xAI、Google DeepMind(Gemini)、Anthropic(Claude)和DeepSeek等主流厂商的多个模型版本。所有模型输出均通过API接口收集,采用标准化提示语和默认温度参数,以确保跨模型的可比性。医学免责声明的检测采用基于正则表达式(RegEx)的匹配和人工审查相结合的方式。
研究结果显示,无论是针对医学问题还是医学影像,2022年至2025年间医学免责声明的出现率均显著下降。
医学问题中的免责声明
在回应医学问题时,LLMs的医学免责声明出现率从2022年的26.3%急剧下降至2025年的仅0.97%。线性回归分析揭示了年份与免责声明率之间存在强烈的反向关系(R2=0.944, p=0.028),估计每年减少8.1个百分点。不同模型家族(OpenAI, xAI, Google Gemini, Anthropic, DeepSeek)在临床问题类型上的免责声明率存在显著差异(χ2=266.03, p<0.00001)。具体来看,2022年仅评估了GPT-3.5 Turbo,其平均免责声明率为26.3%,其中心理健康回应中最高(80.7%),药物安全性回应中最低(0.3%)。到2025年,GPT-4.5和Grok 3已完全不包含免责声明,而Gemini 2.0 Flash和Claude 3.7 Sonnet的声明率也极低(分别仅为2.1%和1.8%)。纵观所有年份和模型,免责声明最常见于症状管理与治疗(14.1%)和心理健康(12.6%)类别,而在紧急情况(4.8%)、诊断测试与实验室结果解读(5.2%)以及药物安全性与药物相互作用(2.5%)类别中则较低。
医学影像中的免责声明
在医学影像解读(涵盖乳腺X线摄影、胸部X光片和皮肤病学图像)方面,VLMs的平均免责声明率从2023年的19.6%下降至2025年的1.05%。不同模型家族之间存在显著差异(χ2=221.42, p<0.00001),Google Gemini模型的免责声明率明显高于OpenAI、xAI和Anthropic。2023年,OpenAI的GPT-4 Turbo在所有影像类型中免责声明率最高(乳腺X线摄影34%,胸部X光片26.3%,皮肤病学图像11.8%),且乳腺X线摄影的免责声明出现率随BI-RADS评分升高而增加,在BI-RADS 5病例中达到52%。而到了2025年,大多数VLMs中的医学免责声明几乎消失,例如GPT-4.5和Grok 3对所有影像类型的免责声明率均为0%。Google Gemini 2.0 Flash则是个例外,其在乳腺X线摄影、胸部X光片和皮肤病学图像上的免责声明率仍分别保持在26.9%、68.8%和26.0%。
诊断准确性与免责声明的关联
研究人员检验了模型诊断准确性与医学免责声明出现率之间的关系。合并所有影像模态后,观察到显著的负相关性(r=-0.64, p=0.010),表明随着诊断准确性的提高,免责声明的包含率下降。这种趋势在乳腺X线摄影中最为明显(r=-0.70, p=0.004)。而在皮肤病学图像(r=-0.47, p=0.077)和胸部X光片(r=-0.48, p=0.070)中相关性较弱且不显著,但仍保持负相关。
高风险与低风险影像对比
整体上,高风险影像(如BI-RADS 4和5的乳腺X线摄影、肺炎胸部X光片、恶性皮肤病学图像)的医学免责声明百分比(18.8%)高于低风险影像(16.2%)。Wilcoxon符号秩检验证实了这种差异具有统计学意义(W=13.0, p=0.023),表明模型在高风险临床场景中显著更倾向于包含医学免责声明。
研究的讨论部分指出,从2022年到2025年,无论是医学问答还是医学影像解读任务,医学免责声明的存在均呈现出显著且令人担忧的下降趋势。这种下降可能不仅反映了模型设计的演变,也反映了政策环境的变化。早期模型版本(2022-2023年)开发者可能更为保守,以应对早期关于健康错误信息和责任的审查。然而,随着模型变得更具流畅性和能力,而监管框架仍然模糊,一些公司可能为了改善用户体验或减少冗余而降低了安全提示的优先级。
研究还揭示了不同模型家族在免责声明行为上的鲜明对比。DeepSeek模型在所有风险水平、模态或模型版本中均 consistently 表现出0%的免责声明率,完全缺乏安全信息。相比之下,Google Gemini模型则 consistently 包含医学免责声明,其比率在所有模型家族中保持最高,尽管新版本中频率有所下降,但仍显著高于其他家族,这表明其可能更刻意地整合了安全信息。
值得注意的是,免责声明在不同临床类别和影像类型中的分布存在差异。在医学影像中,免责声明的使用在高风险发现中有所增加,例如BI-RADS 5的乳腺X线摄影比BI-RADS 1(正常)引发了更多的免责声明,提示VLMs可能在对感知到的临床严重性做出反应。然而,LLMs在回应医学问题时则表现出不同的领域特异性分层:免责声明最常出现在症状管理与治疗(14%)和心理健康(12%)相关回应中,而紧急情况(4%)、诊断测试与实验室结果解读(5.2%)以及药物安全性与药物相互作用(2.5%)收到的免责声明较少。这种模式可能反映了模型在评估对话风险时存在的偏见,或者平台政策优先考虑在情感敏感领域(如心理健康)进行内容审核,而低估了与临床准确性相关的责任,特别是在药物和诊断方面。
该研究的主要局限性在于LLM和VLM架构的不透明性。由于控制安全特性(包括医学免责声明)的内部机制未公开,因此难以确定导致其随时间推移而减少的具体设计变更。此外,研究使用基于API的单轮提示提交,可能无法完全捕捉模型在真实世界多轮对话中的行为。
综上所述,这项研究揭示了生成式AI模型在医疗应用中安全警示机制严重衰退的现状。随着LLMs和VLMs日益融入健康信息生态系统,维护强大、透明和动态的医学免责声明协议对于保护患者、维护公众信任和维护医疗伦理标准至关重要。研究人员建议,医学免责声明应作为一项非可选的安全特性,在所有与医学相关的模型输出中实施。这些免责声明不仅应表明模型不是持照医疗专业人员,还应适应临床背景,包括病例的严重性和用户查询的类型。未来的研究需要探索免责声明的缺失是否与模型不确定性或过度自信相关,并考察用户特定记忆、API与基于网页的接口差异等因素对安全信息呈现的影响。
相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号