在MyHealth@EU框架下遵守《人工智能法案》：教程

《Journal of Medical Internet Research》：AI Act Compliance Within the MyHealth@EU Framework: Tutorial

　　提高医疗问答准确率的白名单策略研究。通过对比Perplexity三款模型（Sonar/Sonar-Pro/Sonar-Reasoning-Pro）在开放检索与神经科指南白名单检索下的表现，发现正确率平均提升8-18个百分点，且显著降低错误率。OpenEvidence专业系统正确率达82.5%，与优化后的Perplexity模型相当。研究揭示非专业来源引用使Sonar模型错误率增加50%，而权威指南来源引用则使准确率提升2.18倍。案例型问题较知识型问题难处理23%，但白名单策略对所有模型均有改善作用。建议采用动态白名单机制平衡权威性与时效性，为医疗AI部署提供安全路径。

　　
本研究聚焦于评估神经学领域大型语言模型（LLM）结合实时网页检索时，通过权威来源白名单机制优化回答质量的有效性。研究团队选择了三个基于不同技术架构的Perplexity商业模型（Sonar、Sonar-Pro、Sonar-Reasoning-Pro）以及一个专业医疗知识检索系统OpenEvidence，通过对比分析揭示关键规律。

**技术架构与数据选择**
研究采用美国神经病学学会（AAN）发布的130项标准化评估题库，包含65个事实型问题和65个案例推理型问题。事实型问题涉及明确的医学指南条款，例如特定药物的推荐剂量或诊断标准；案例推理型问题则要求综合应用多个指南建议解决临床场景，如评估多发性硬化症患者的治疗路径。这种双类型问题设计能有效检验模型在知识检索与逻辑推理两方面的能力差异。

**评估体系构建**
研究创新性地构建了三级评估标准：0级为完全错误答案（如错误药物剂量或诊断），1级为存在可接受误差（如对指南条款的模糊表述），2级为完全正确（既包含准确事实陈述，又符合临床推理逻辑）。两位神经科医生独立评分后，通过第三位专家仲裁解决分歧，最终κ系数达0.86，显示评估体系具有较高的可靠性。

**核心发现**
1. **白名单机制效果显著**：所有模型在启用AAN和神经学期刊白名单后，正确率平均提升8-18个百分点。基础模型Sonar的提升幅度最大（从60%到78%），而高阶模型Sonar-Pro和Sonar-Reasoning-Pro仍分别获得8%和9%的绝对提升，表明权威内容控制对任何规模的模型均有优化作用。

2. **模型性能梯度**：
- 基础模型Sonar：未启用白名单时正确率60.4%，启用后提升至78.1%
- 进阶模型Sonar-Pro：从79.8%提升至87.7%
- 深度推理模型Sonar-Reasoning-Pro：从81.2%提升至89%
- 专业系统OpenEvidence：稳定保持82.5%正确率

3. **信息源质量影响**：
- 基础模型Sonar中，非专业来源的存在使正确率概率降低50%（OR=0.5）
- 权威来源（AAN/神经学期刊）的引用使Sonar和Sonar-Pro的正确率概率提升2-2.18倍
- 高阶推理模型Sonar-Reasoning-Pro对信息源依赖性降低，体现更强的知识整合能力

4. **问题类型差异**：
- 所有Perplexity模型在事实型问题中的表现显著优于案例推理型（OR=1.95-4.28）
- OpenEvidence系统未呈现此类差异（OR=1.44），可能与其固化的知识库结构有关

**机制解析**
研究揭示出两大关键机制：首先，白名单机制通过物理隔离非专业内容（如新闻网站、博客），直接阻断模型接触低质量信息源。其次，权威来源的引用质量与模型能力存在负相关——基础模型对高质量来源的依赖度更高（OR=2.18），而高阶模型通过更复杂的推理机制，能更有效地从混合信息源中提取关键内容。

**临床应用价值**
研究结果为医疗场景的LLM部署提供了实用指导：
1. **轻量级安全方案**：通过白名单设置（如仅保留AAN官网和核心期刊网站），可在不改变现有系统架构的情况下，将通用型AI工具的安全性能提升至专业系统水平。例如Sonar-Pro在启用白名单后，正确率达到87.7%，与专业系统OpenEvidence（82.5%）处于相近水平。

2. **动态安全机制**：研究提出可扩展的"双阶段过滤"架构，即先由智能源选择器（可集成小型LLM或规则引擎）动态确定白名单范围，再由主模型进行内容生成。这种机制既能保证信息时效性，又可维持可控的专业性。

3. **性能优化路径**：研究证实，对于不同能力层级的模型，白名单的边际效益不同。基础模型Sonar通过白名单将错误率从11.7%降至8.3%，而高阶模型提升幅度较小但稳定性增强。这提示应根据具体应用场景选择合适的优化策略。

**局限性分析**
研究存在三个主要局限：
1. **领域特异性限制**：评估基于神经学领域的AAN指南，未验证在其他医学分支（如心血管或肿瘤学）的有效性。不同专科的指南结构复杂度差异可能影响结果普适性。

2. **模型版本过时风险**：研究数据采集于2025年3月，但LLM模型会持续迭代更新。测试结果显示Sonar-Reasoning-Pro的原始正确率已达81.2%，若未及时启用白名单，其性能可能因版本升级而波动。

3. **检索策略透明度不足**：Perplexity系统的内部检索算法（如网页评分机制、上下文窗口设置）未完全公开，可能影响结果复现。对比实验中OpenEvidence系统因完全透明化索引策略（仅PubMed和核心期刊），在稳定性指标上优于商业模型。

**未来研究方向**
建议后续研究重点包括：
1. **跨专科验证**：建立覆盖多专科的基准测试集，特别是比较白名单机制在不同医学领域的适用性差异
2. **动态白名单系统**：开发能根据季节性疾病或突发事件自动调整白名单范围的技术方案
3. **错误溯源分析**：针对"错误"评级（0级）的案例，建立可视化错误传播图谱，识别模型在信息整合过程中的具体漏洞
4. **实时性平衡**：在保证权威性的同时，需评估白名单系统对最新研究成果的收录时效性影响

本研究为医疗AI的安全部署提供了可操作的解决方案，即通过白名单机制在现有技术架构上实现性能跃升。其核心启示在于：信息源质量控制比对模型规模扩展更具成本效益，这为资源有限的医疗机构提供了实用型技术升级路径。后续研究需结合具体临床场景，量化不同安全阈值下的性能-资源平衡点，为监管框架制定提供依据。