对ChatGPT-4在青少年肌炎锻炼与康复策略相关问题上的回答质量、可靠性和可读性的评估

《Journal of Adolescent Health》：Evaluation of the Quality, Reliability, and Readability of ChatGPT-4 Responses on Exercise and Rehabilitation Strategies for Adolescent Myositis

　　ChatGPT-4在青少年肌炎康复策略中的可靠性及准确性研究显示，其回答在疾病管理、运动指导等7个主题上平均准确率达4.26分（满分5），但可读性较低（平均47.79分），需专业监督和优化AI模型。

　　

Fulden Sari|Zeliha ?elik

土耳其宾格尔大学物理治疗与康复学院物理治疗与康复系

摘要

目的

本研究旨在评估ChatGPT-4在为患有肌炎的青少年患者提供关于运动和康复策略的可靠且准确的信息方面的能力。

方法

研究人员设计了70个与青少年肌炎患者运动和康复相关的常见问题，并将其分为7个主题类别。使用改良的DISCERN（mDISCERN）工具评估信息可靠性，通过全球质量量表（GQS）评估信息质量，使用五点李克特量表（Likert scale）评估准确性，使用Flesch阅读难度量表（Flesch Reading Ease scale）评估可读性。两位具有风湿病康复专业知识的独立物理治疗师对回答进行了独立评估。

结果

mDISCERN量表的得分范围为3到3.67分，平均分为3.36分；GQS量表的得分范围为3.46到5.0分，平均分为3.86分；准确性量表的得分范围为3.9到5.0分，平均分为4.26分；Flesch阅读难度量表的得分范围为42.92到55.61分，平均分为47.79分。mDISCERN、GQS和准确性量表的组内相关系数分别为0.773、0.712和0.710。

讨论

本研究表明，ChatGPT-4针对青少年肌炎的回答总体上是准确的，且具有中等至良好的可靠性。然而，其较高的阅读难度要求使用者具备大学水平的教育背景，这可能限制了其普及性。这些局限性凸显了医疗专业人员监督运动计划的必要性，以及开发具有更高可靠性和可读性的特定领域AI模型的必要性。

部分内容摘录

方法

由于本研究未涉及人类参与者，仅将计算机生成的数据与专家生成的信息进行比较，因此无需伦理委员会的批准。

结果

研究人员向ChatGPT-4提出了70个问题，该模型提供了标准化答案以供评估。

讨论

在本研究中，ChatGPT-4在回答与肌炎青少年患者相关的各种问题（这些问题被分为7个主题组）时，表现出相当的质量和准确性。这些主题组涵盖了实际且具有临床意义的领域，包括疾病管理、体育活动指导、心理支持、休闲参与、日常生活活动、睡眠卫生和皮肤护理等方面。