个人陈述的终结：人工撰写与人工智能生成的医学院入学申请文书的定性比较

《Journal of the Association of Nurses in AIDS Care》：Death of the Personal Statement: A Qualitative Comparison Between Human-Authored and Artificial Intelligence-Generated Medical School Admissions Essays

　　医学院校招生委员会使用个人陈述评估申请者。研究显示，AI生成的个人陈述在评分上优于人类撰写（5.02 vs 4.67，p=0.020），且读者识别准确率仅为56%，而检测工具ZeroGPT的准确率达91%。然而，ZeroGPT存在高假阳性率，难以实际应用。研究呼吁重新评估个人陈述在招生中的可信度。

　　

摘要

背景：

医学院招生委员会使用个人陈述来主观评估申请者的价值观、动机和经历。不同教育水平的学生表示，他们会在学术研究中使用人工智能（AI）。目前尚未研究医学院招生委员会在区分AI生成和个人撰写的个人陈述方面的有效性，也不清楚使用AI是否会给学生带来优势。

研究设计：

本研究收集了2019年申请周期（在AI聊天机器人出现之前）的个人陈述。使用ChatGPT 4.0根据个人撰写的文章摘要生成新的个人陈述。在一项前瞻性、单盲、随机对照试验中，医学院招生人员对AI生成和个人撰写的个人陈述进行了评估，评估内容包括文章质量（7点李克特量表）、作者推测（人类或AI）以及推测的准确性（5点李克特量表）。此外，还使用了一种名为ZeroGPT的AI检测工具来推测作者身份。

结果：

共有17名医学院招生人员对309篇文章进行了评分，共使用了325份评分标准。招生人员正确识别作者身份的准确率为56%，而ZeroGPT的准确率为91%。对于评分较高的文章，招生人员更倾向于认为其作者是人类（Mann-Whitney U检验，p<0.001）。AI生成的文章得分高于人类撰写的文章（Wilcoxon符号秩检验，p=0.020），平均得分分别为5.02 ± 1.21和4.67 ± 1.33。

结论：

AI生成的个人陈述获得了更高的评价，并且几乎无法被医学院招生人员区分开来。尽管ZeroGPT在检测AI使用方面的准确率较高，但其误报率仍然过高，不适合用于医学院招生。为了保持可信度，需要重新考虑个人陈述在医学院招生中的作用。