大语言模型在肝转移瘤测量中的准确性与可重复性评估：与放射科医师测量的对比研究

　　本刊推荐：为解决大语言模型（LLMs）在医学影像直接测量中的性能空白，研究人员开展LLMs测量结直肠癌肝转移灶直径的准确性研究。结果显示Gemini 2.5 Pro与放射科医师测量具有良好一致性（ICC=0.81），且可重复性佳（ICC=0.78），而GPT-o3和Claude表现较差。这项研究首次证明通用LLMs具备影像生物学测量潜力，为AI辅助放射学测量提供了新方向。

　　

在人工智能席卷医疗领域的今天，大语言模型（LLMs）已在放射报告结构化提取和多语言翻译任务中展现出惊人能力，然而这些模型能否像人类专家一样直接解读医学影像并进行精准测量，仍是一个悬而未决的关键问题。准确测量病灶尺寸不仅是LI-RADS、Fleischner Society等标准化成像系统的核心要求，更是区分良恶性病变、指导临床治疗决策的重要依据。尽管任务特异性深度学习模型已能实现可靠的RECIST（Response Evaluation Criteria In Solid Tumours）自动化测量，但通用型LLMs在医学影像测量领域的性能尚未得到系统评估。

来自加拿大渥太华医院和麦吉尔大学的研究团队在《Japanese Journal of Radiology》发表了开创性研究，首次系统评估了三种前沿大语言模型（ChatGPT-o3、Gemini 2.5 Pro和Claude 4 Opus）在结直肠癌肝转移瘤测量任务中的准确性与可重复性。研究团队从公共数据库Colorectal-Liver-Metastases中筛选出83例单发肝转移瘤患者的CT影像，采用严谨的实验设计：首先由放射科医师提取显示最大肿瘤直径的单轴位切片，转换为512×512像素PNG格式（窗宽400 HU，窗位50 HU），并将像素尺寸编码于文件名中；随后分别让三大LLMs进行两次间隔一周的病灶长径测量，同时由两名12年资历的放射科医师进行独立测量及重复测量验证。

关键技术方法包括：使用公共数据库83例单发结直肠癌肝转移CT数据；放射科医师选取最大病灶轴位切片并转换为标准化PNG图像；通过文件名编码像素空间信息；三大LLMs（Gemini 2.5 Pro、GPT-o3、Claude 4 Opus）进行双次测量；两名放射科医师独立测量及重复测量；采用组内相关系数（ICC）和Bland-Altman分析进行统计学评估。

测量一致性分析结果

放射科医师间展现出卓越的一致性（ICC=0.95，95% CI 0.86-0.99），放射科医师内部可重复性达到0.98（95% CI 0.94-0.99）。在模型与放射科医师参考标准的对比中，Gemini 2.5 Pro表现出良好的一致性（ICC=0.81，95% CI 0.68-0.89），而GPT-o3仅达到中等一致性（ICC=0.52），Claude 4 Opus则表现较差（ICC=0.07）。

模型可重复性评估结果

Gemini同时展现出良好的内部可重复性（ICC=0.78，95% CI 0.65-0.87），显著优于GPT-o3（ICC=0.25）和Claude（ICC=0.47）的较差表现。

测量误差分布特征

Bland-Altman分析显示放射科医师组具有最紧致的95%一致性界限，Gemini呈现中等程度的离散分布，而GPT-o3和Claude则显示出更广泛的差异范围。特别值得注意的是，Claude表现出固定值输出倾向（20-40 mm），随着病灶实际尺寸增大呈现系统性低估趋势。

研究结论表明，虽然当前大语言模型尚未达到放射科医师的测量精度水平，但Gemini 2.5 Pro展现出的良好性能预示着通用LLMs在医学影像测量领域的巨大潜力。这种技术一旦成熟，将显著减轻放射科医师的工作负荷，加速诊疗流程。值得注意的是，当前LLMs仍存在明显的技术限制：大多数模型仍需特定格式转换（PNG/JPEG），无法处理完整DICOM序列，且存在图像上传数量限制。这些限制使得本研究只能基于单轴位切片进行评估，而实际临床工作中放射科医师会通过浏览相邻切片和多平面重建来优化测量结果。

该研究的重大意义在于首次证明了通用大语言模型具备医学影像生物学测量的基本能力，为未来LLMs在放射学测量任务中的应用奠定了理论基础。随着模型能力的快速迭代升级，未来支持全DICOM序列分析的多切片协同测量模型有望实现临床级测量精度，最终成为放射科医师的智能助手，推动医学影像测量进入人工智能增强的新时代。