AI驱动闭环神经技术临床转化中的可解释性挑战与临床医生需求研究

　　【编辑推荐】为解决AI驱动闭环神经技术临床转化中可解释性缺失的问题，研究人员通过半结构化专家访谈探讨临床医生对可解释AI（XAI）的需求。研究发现医生更关注输入数据的代表性和输出结果的临床相关性，而非算法内部机制。该研究为设计用户中心的可解释性框架提供了关键依据，对推动神经技术临床落地具有重要意义。

　　

随着人工智能技术在医疗领域的深入应用，AI驱动的闭环神经技术为神经系统疾病的治疗带来了革命性希望。这类系统能够通过实时分析脑信号（如EEG和局部场电位），自适应调整神经刺激参数，为帕金森病、癫痫等难治性神经系统疾病患者提供个性化治疗。然而，尽管技术前景广阔，AI在临床神经技术中的应用仍处于初级阶段。其中一个关键障碍在于许多先进AI模型（如深度学习）缺乏可解释性——医生无法理解这些"黑箱"模型如何做出决策，这在涉及人脑的高风险医疗场景中带来了严重的安全性和伦理挑战。

正是在这样的背景下，来自德国慕尼黑工业大学的Laura Schopp、Georg Starke和Marcello Ienca团队在《Scientific Reports》发表了开创性研究，首次通过实证方法系统探索临床医生对AI驱动闭环神经技术的可解释性需求和期望。他们发现，与传统技术开发人员追求算法透明度的思路不同，临床医生更需要的是与临床实践密切相关的功能性解释。

为了深入理解临床医生的真实需求，研究团队采用了严谨的定性研究方法。他们招募了20名来自德国和瑞士的神经科医生、神经外科医生和精神科医生，通过半结构化访谈收集第一手资料。所有访谈均进行录音转录，并使用反思性主题分析方法对数据进行了系统编码和分析，确保研究结果的可靠性和有效性。

研究结果揭示了临床医生对可解释性的独特视角。在算法规格方面，多数医生（9/20）对技术细节如算法类型、层数或参数数量兴趣有限，认为这些内容过于技术化且缺乏临床实用性。相比之下，他们对输入数据的关注度明显更高。

在输入数据信息需求方面，医生们特别关注训练数据的代表性问题。四位医生强调需要了解AI模型是否在代表自己患者人群的数据上进行训练，特别是在症状表现存在显著个体差异的疾病如帕金森病中。一些研究导向的医生（3/20）还要求能够访问支撑AI决策的原始数据，尤其是在重症监护等高风险场景中。此外，医生们强烈主张整合多模态输入数据，包括可穿戴传感器数据、视频运动评估和患者报告结果，认为单纯的神经活动数据不足以构建高性能闭环系统。

输出信息的关键性得到了最多关注（11/20），医生们最关心的是安全性和患者受益问题。四位医生强调需要理解系统输出如何被操作化和转化为临床行动，特别是在响应性神经刺激（RNS）系统检测癫痫发作等实时干预场景中。七位医生指出明确安全边界的重要性，以防止可能造成伤害或社会危险行为的输出。医生们更可能信任与临床推理或"直觉"一致的系统建议，信任的建立不是通过详细算法解释，而是通过AI建议与临床直觉的一致性。

在AI用户界面设计方面，医生们提供了宝贵见解。多数参与者（9/20）认为描述性统计和可视化摘要（如图表）能增强对训练数据的理解。一位医生建议加入症状集群可视化，以验证个体患者是否匹配训练集中的特定亚组。还有医生欢迎嵌入指向支撑模型决策的同行评审出版物的超链接。只有三位参与者自发表示对正式XAI方法（如特征相关性、特征重要性排序和反事实示例）感兴趣。

讨论部分深入分析了这些发现的深远意义。研究表明，临床医生对AI的信任和感知到的临床效用并不依赖于完全算法透明度，而是取决于提供情境敏感、临床有意义的可解释性形式。这标志着从传统XAI目标向更实用、以用户为中心的方法转变。

研究还发现，神经技术与其他临床AI应用存在根本区别。在更成熟的临床领域（如结果预测或诊断支持），模型输入本身是可解释的，医生已经熟悉患者年龄、血压、实验室值或影像学发现等变量。相比之下，神经技术引入了额外的透明度层：原始神经时间序列或局部场电位等输入信号本身可能缺乏即时临床可解释性。这种在输入和算法层面的双重不透明性对可解释性提出了独特挑战。

从设计角度看，这意味着AI模型必须支持功能性可理解性，而不仅仅是可解释性。几位参与者建议开发交互式解释工具，包括基于LLM的聊天机器人，可以与医生进行双向对话，并根据他们的专业水平或使用情境调整解释。这些工具有助于弥合AI开发人员技术语言与医疗专业人员临床语言之间的差距。

医生们还强调，神经技术AI系统的信任最终是通过证明的性能、安全性和与患者护理的相关性获得的。他们一致认为，持续提供准确、安全和临床相关建议的系统更可能获得接受，即使其内部工作机制仍然部分不透明。重要的是，他们警告说，AI生成的输出（如DBS刺激参数）必须受到与任何其他临床干预（包括药物和其他医疗设备）相同的审查和监管监督。

研究的局限性包括样本仅限于20名德语区临床医生，缺乏统计普适性，以及女性参与率较低。此外，主要访谈者在该领域的专业知识可能 subtly 影响了访谈动态。然而，这些限制并不削弱研究结果的新颖性和相关性。

结论部分强调，需要在AI驱动闭环神经技术的可解释性方法上进行范式转变。开发人员不应追求通过详尽XAI方法实现完全算法透明度，而应优先考虑直观、临床有意义的解释形式，与医生的思维、决策和行动方式保持一致。这要求超越可解释性的静态技术定义，拥抱更情境化、实用的设计哲学，考虑最终用户的信息需求——从输入数据中症状的代表性到输出的临床相关性。

可解释性不应是事后想法或一刀切的检查表项目。它必须嵌入系统设计的各个方面：从透明和协作的数据实践到可解释和安全意识的输出，再到通过自适应、用户特定的交互促进临床推理的界面。政策制定者同样必须认识到，有意义的透明度本质上是关系性的——由用户、任务和临床环境塑造。监管框架因此应支持不仅仅是通用披露，而是开发通过可证明性能、明确益处和反映既定临床标准的问责机制赢得信任的临床验证AI模型。

最终，将AI承诺转化为真实世界临床影响将取决于设计系统和更精确的最终用户界面，使医生不仅能理解而且能在整个医疗决策过程中自信依赖。为确保XAI方法在AI驱动闭环神经技术中的临床可行性，本研究的概念性发现需要转化为可测试的指标、性能基准和技术特征，以及能够实现医生期望的透明度的技术基础设施。未来的研究工作还应包括患者对AI及其可解释性的观点和期望，以保护患者自主权并培养信任。