
-
生物通官微
陪你抓住生命科技
跳动的脉搏
【字体: 大 中 小 】 时间:2025年09月29日 来源:Clinical Orthopaedics and Related Research庐 4.4
编辑推荐:
AI生成学术信件导致质量下降及应对措施。采用人工验证引用、筛选内容并强制披露AI使用以提升学术对话质量。
大约一年半前,在那个美好的旧时光里,《临床骨科及相关研究》(Clinical Orthopaedics and Related Research?)的团队与我们一样,热衷于在论文发表后进行交流讨论。这些讨论主要通过读者向编辑部提交的来信形式进行,这些读者对我们期刊CORR?上发表的论文感到好奇,并由原论文的作者对这些来信进行回复。鉴于发表后交流的重要性,我们一直采取较为开放的态度来处理这些来信:当那篇编辑部声明[1]发表时,该期刊当时的编辑团队已经发表了我们收到的所有来信,平均每年收到近50封来信及其回复。
然而,情况已经发生了巨大变化。截至我们撰写这篇编辑部声明的时间(2025年6月),2025年前6个月我们收到的来信数量超过了以往任何一年的总量。这本该是一件值得庆祝的事情,但实际上却成了一个问题:我们对这些来信的分析发现,其中大约有一半很可能是由基于人工智能(AI)的大型语言模型(LLMs)如ChatGPT撰写的(图1)。

我们的编辑政策并未禁止作者使用LLM来撰写这些来信,过去我们也认为使用这些工具进行翻译和语言辅助可能是有益的,因为这有助于促进科学界的交流[2]。虽然这种观点可能仍然成立,但目前我们的观察结果是,AI在科学写作中的使用主要导致了大量低质量内容的产生。
我们并不天真到认为已经发现了所有由AI撰写或辅助撰写的来信,但我们识别并确认的这些来信有一些共同特征:刻板的表达方式和叙述结构,将形容词和副词放在不自然位置的习惯,以及完全不同作者群体所写来信之间存在的难以解释的相似之处。如果不是因为以下这些问题,我们或许还能容忍这些现象:错误的引用、虚构的参考文献、几乎没有任何实质性的见解,以及来信作者及其辅助机器人几乎没有努力与原文作者进行有意义的对话或提问。
我们陷入了困境。我们希望促进论文发表后的交流,我们也知道写作对某些人来说确实很困难,尤其是用第二语言写作的人。但我们非常尊重读者,因此不能让他们接触到大量空洞的内容。同时,我们也没有时间和精力去甄别那些内容贫乏的来信中的参考文献或引用是否是由于LLM特有的“幻觉”错误而产生的。
遗憾的是,这个问题没有简单的解决办法。我们不想仅仅因为使用了AI就直接淘汰这些来信,毕竟英语并非大多数人的母语;使用LLM进行语言辅助确实可以平衡过去不公平的竞争环境。但是,将AI用于翻译或完善已经草拟好的来信(无论是用自己的语言还是其他语言)与仅仅让LLM代为撰写编辑部来信之间存在本质区别。早期我们就注意到这个问题,有位作者在同一天提交了两封关于不同主题的来信——一篇关于髋臼周围截骨术,另一篇关于足部感染。此后我们还收到了更多类似的案例。虽然有可能有人在这些截然不同的领域既是专家又是爱好者,但我们至今尚未遇到这样的人。
为了了解让AI撰写来信的难易程度,并验证我们的猜测,2025年6月我们让ChatGPT(版本4.0)就我们确认的一篇AI辅助撰写的论文写了一封“编辑部来信”。在这次实验中,我们没有给ChatGPT提供任何其他指导。
ChatGPT为我们撰写的来信在结构上与我们收到的AI生成来信有许多相似之处,包括其写作框架和表达方式,以及它只是简单地对相关研究进行了“比较和对比”,而没有向作者提出具体的、有深度的问题——而这正是编辑部来信的主要目的。这封机器生成的来信中也充斥着我们在许多来信中常见的陈词滥调。最重要的是,像许多AI辅助或生成的来信一样,其中包含了虚假的内容——在这封来信中,它将一个事实错误地归因于某篇原始文章。
这个简单的实验验证了我们的担忧:LLM被用来撰写我们收到的许多编辑部来信,而不仅仅是进行翻译。我们认为这种行为是不道德的,因为这些来信的思想、修辞结构和实际内容并非来自声称作者的人,而是来自LLM。而且,这么多来信中都包含错误的引用,这进一步证明了(人类)作者并没有确保AI生成内容的基础是可靠的。如今,任何人都不需要是外科医生或科学家就能为外科期刊撰写编辑部来信了;只需让一个免费的LLM来完成这项工作即可。这种人机合作产生的内容既可预测又乏味,且毫无信息价值。
基于这些情况以及读者的利益,我们决定修改我们的编辑部来信处理流程。今后,对于那些使用AI辅助内容的作者(无论是编辑部来信、CORR的评论文章还是其他类型的文章),我们将要求他们提供每个引用来源的可验证信息,以证实其论点的真实性。这将有助于我们审核参考文献,并减少虚假内容传播的可能性。我们只会发布那些提供此类信息的作者的来信和评论。此外,由于编辑这些来信会增加编辑团队的工作负担,我们在决定哪些编辑部来信可以发表时,会对每封来信的质量提出更高的要求。那些未能与原文作者进行实质性对话的来信将不会被考虑发表。另外,如之前所述[2, 3),如果在使用这些工具进行写作、编辑或翻译时,必须明确说明所使用的工具及其用途。
生物通微信公众号
知名企业招聘