
-
生物通官微
陪你抓住生命科技
跳动的脉搏
欧洲处方考试(European Prescribing Exam)的可行性与质量评估:一项覆盖16所医学院校3109名医学生的国际多中心试点研究
【字体: 大 中 小 】 时间:2025年09月17日 来源:Clinical Pharmacology & Therapeutics 5.5
编辑推荐:
本文系统评估了欧洲处方考试(European Prescribing Exam)在提升医学生处方能力方面的实施效果与质量。研究通过多国协作开发标准化考题,覆盖临床药理学与治疗学(CPT)核心内容,并采用可靠性分析(Cronbach's α、Rir值)、难度指数(DI)及内容效度比(CVR)等方法验证考试质量。结果显示考试具有较高信效度,但参与者整体得分偏低,反映出欧洲CPT教育存在显著差异与不足。研究强调推行全欧标准化考试及问题导向学习(PBL)模式对提升处方安全性的重要意义,为WHO"用药无伤害"全球患者安全挑战提供实践依据。
世界卫生组织(WHO)的全球患者安全挑战"用药无伤害"强调需提升医生的处方能力。年轻医生因培训不足尤其容易发生处方错误。为此,欧洲处方考试(European Prescribing Exam)应运而生,旨在标准化并提升全欧洲范围内的临床药理学与治疗学(CPT)教育。本研究首次对前两次试点考试的质量与发展进行了系统分析。
基于欧洲共识研究及荷兰国家药物治疗评估(DNPA),团队制定了考试蓝图。2020年至2023年间,在11个国家的16所医学院校中开展了两次试点考试,每次包括36道知识型题目和11道技能型题目。考试质量通过可靠性指标(测量标准误、Cronbach's α、题目-总分相关系数Rir值、难度指数DI)以及内容效度(内容效度比CVR)进行评估。Rir为负值、CVR为负或DI<0.44的题目被标记为潜在低质量题目。此外,还分析了学生的考试成绩(以满分百分比表示)以及不同学校和课程体系之间的差异。
共有3109名学生参与(第一次考试1371人,第二次考试1745人)。大部分题目质量较高,94题中有20题(21.3%)被标记。两次考试的得分中位数分别为66.2%(IQR 55.4–74.3)和58.9%(IQR 52.1–65.8)。来自采用问题导向学习(PBL)课程或设有国家处方考试的学校的学生成绩显著更高(P<0.001)。研究表明,欧洲处方考试作为标准化工具具有可行性,但考试成绩差异大且中位数普遍偏低,凸显出全欧洲CPT教育亟需改进与统一。
当前认知:
年轻医学毕业生常缺乏足够的处方能力,易犯处方错误。研究表明,国家级CPT结业考试可提升毕业年级医学生的处方知识与技能。
研究问题:
本国际多中心研究评估了欧洲处方考试的可行性、质量特征及结果。
新增知识:
尽管欧洲存在指南、语言(超过20种)及药物可及性差异,本研究成功联合开发出有效且可靠的全欧处方安全考试。此外,医学生的处方知识与技能仍不足,需在毕业前数年逐步改进。
对临床药理学与转化科学的影响:
欧洲处方考试可作为统一和现代化全欧及更广地区CPT教育的重要工具,最终提升医学毕业生的处方能力。
随着医生日益频繁地跨境执业, harmonized 医学教育变得至关重要。欧洲医学专家联盟(European Union of Medical Specialists)协调医学专科培训,组织欧洲资格考试,旨在让所有欧洲医生掌握核心能力,保障医疗质量的一致性及跨国执业能力。安全有效的处方是核心能力之一,但研究表明处方错误在全球范围内十分常见。为此,WHO于2017年发起以"用药无伤害"为主题的第三届全球患者安全挑战,目标是在全球减少药物相关伤害。
医疗复杂性日益增加——药品种类不断扩大,患者群体因老龄化、慢性病和多药治疗变得更加脆弱——医生未来面临更严峻的处方挑战。研究显示,年轻医生尤其缺乏足够的处方能力,其处方错误率是高级顾问的两倍。此外,仅靠临床工作并不能在毕业一年内提升处方能力,这凸显出本科CPT教育需更加坚实。然而,欧洲本科CPT教育尚未统一,未能提供安全有效处方所需的知识与技能。鉴于此,欧洲临床药理学与治疗学协会(EACPT)呼吁对全欧CPT教育进行现代化和统一化改革。
2019年,作为Erasmus+项目EuroPE?的一部分,我们推出了免费的欧洲处方考试。这一标准化跨境考试兼顾了欧洲多样化的指南、语言(超20种)及药物使用情况。作为本科阶段评估关键医学能力的首批欧洲合作典范之一,欧洲处方考试与英国处方安全评估(PSA)可能为其他学科类似计划树立先例。本研究依据医学教育协会(AMEE)第57号指南《评估中使用的理论》评估其可行性,包括考试发展、质量(可靠性与效度)以及参与医学生的首次考试成绩。根据以往研究,我们预期本研究将通过高可靠性和效度证明欧洲处方考试的可行性,同时揭示学生处方知识与技能的不足。
考试开发:
欧洲处方考试由8个国家9所医学院校、EACPT、荷兰临床药理学与生物药剂学协会(NVKFB)合作开发,并获WHO欧洲区域办事处咨询支持。考试聚焦评估安全有效处方所需的基础(即"现成")知识与技能。由于欧洲语言超20种,翻译所有题目不现实,故考试采用英语进行,因所有医学生应具备足够的英语读写能力。
学习目标与达标标准基于CPT教育的关键学习成果、处方常见重要疾病、医学教育核心药物及DNPA确定。考试涵盖八大主题:镇痛药、抗凝药、抗菌药、心血管药物、急救药物、精神药物、肺部药物及其他药物。为确保考试全面覆盖Miller金字塔前三个层级,团队制定了考试蓝图。每次考试包括知识部分(24道独立案例多项选择题MCQ和12道独立多选药物审查题MAQ)和技能部分(11道独立题目,要求学生根据临床案例处方适当治疗)。技能部分允许使用指南和处方集,知识部分则不允许。两个试点考试的所有题目均经参与院校的高级临床药理学家及其他医学专家(如内科医生、全科医生、感染病学家和外科医生)同行评审。
研究设计与人群:
本队列研究纳入来自11个欧洲国家16所医学院校的五、六年级(毕业年级)医学生。从2020年10月至2023年8月,根据各校安排,所有倒数第二学年或毕业学年医学生,或参加CPT课程的学生均有资格参与。考试在所有参与院校中以形成性评估(即不影响学生学业进度)形式实施,但两所院校对参与者给予正式结课考试的额外学分奖励。
研究获阿姆斯特丹大学医学中心(Vrije Universiteit地点)医学伦理审查委员会批准(2024.0824)。
结局指标:
主要结局是考试质量,通过可靠性和效度及潜在低质量题目数量体现。次要结局包括学生考试总分和通过率、知识与技能部分得分、各主题得分、考试用时中位数等。基于先前绘制欧洲医学院校CPT课程图谱研究的原始数据及各校CPT协调员意见,比较了传统教学(讲座、自学)与PBL课程院校、有无国家处方考试院校之间的成绩差异。
数据收集:
本地协调员通过电子邮件、学校电子学习环境和/或常规教学时段邀请学生参与。考试时间各校不同。受COVID-19疫情影响及大学官方课程整合限制,除一校外,所有参与者均在家中使用个人电脑完成考试。系统虽支持监考功能(通过"安全考试浏览器"阻断其他网站访问),但无法监控学生是否在知识部分使用手机、平板或另一台电脑等资源。考试每部分最长时间设为90分钟。参与自愿,提前获取数字知情同意。
为评估考试内容效度,邀请参加欧洲处方考试专题活动(2022年11月10–11日)的欧洲各国CPT教育独立专家参与。28名专家(回应率87.5%)来自13个欧洲国家,在活动前完成在线调查,对每道题评分("必要"、"相关但不必要"或"不相关"),并可在开放文本栏中添加意见。
数据分析:
考试及题目可靠性通过测量标准误(SEM)和三个常用心理测量参数评估:Cronbach's α(内部一致性)、题目-总分相关(Rir值;题目区分学生能力强弱的指标)、猜题校正难度指数(DI;答对学生的比例)。形成性考试且评估"现成"知识与技能,Cronbach's α>0.60、Rir值为正、MCQ(知识部分)DI>0.44、开放题(技能部分)DI>0.25被视为合适。
考试内容效度通过Lawshe描述的内容效度比(CVR)评估。CVR为正(超50%专家认为属必要知识/技能)的题目被归为合适,高于Lawshe参考值的题目归为良好。DI低、Rir为负或CVR为负的题目被标记为潜在低质量。
基于资深临床药理学家及其他医学专家预先制定的答案模型,MCQ和MAQ每答对一题得1分。技能题中,次优(如剂量略高/低、药物第二/三选择)或最优处方分别给予1或2分。未作答题目判为错误。学生各部分得分以答对题目比例计算,以中位数及四分位距(IQR)表示。因考试评估临床实践必备的"现成"知识且聚焦患者安全,通过标准故意设高。知识部分通过率采用DNPA相同标准(80%并经猜题校正)。正态分布数据采用卡方检验、独立t检验或ANOVA检验,非正态分布数据采用卡方、Kruskal–Wallis或Mann–Whitney检验。所有统计分析使用SPSS 26.0进行,P<0.05视为有统计学意义。
共3109名学生参与,来自11个非英语母语欧洲国家的16所医学院校。1371人(44.1%)完成第一次考试(978人(71.3%)完成两部分,244人(17.8%)仅知识部分,149人(10.9%)仅技能部分),1745人(55.9%)完成第二次考试(1351人(77.4%)完成两部分,233人(13.4%)仅知识部分,161人(9.2%)仅技能部分)。知识部分完成时间中位数第一次考试39分钟(IQR 28–55),第二次42分钟(IQR 31–55);技能部分两次均为42分钟(IQR 27–63和27–56)。
主要结局:质量
内部一致性(Cronbach's α)、题目区分好坏学生的平均能力(Rir值)及平均难度指数(DI)均合适,SEM范围2.5%–2.75%。无Rir负值,94题中15题(16.0%)DI低(10知识题,5技能题)。独立专家小组认为多数题目评估必要知识或技能:87题(92.6%)CVR为正,60题(63.8%)CVR良好(按Lawshe参考值)。
共20/94题(21.3%)被识别为潜在低质量。其中13题(65%)DI低,5题(25%)CVR负,2题(10%)DI低且CVR负。所有潜在低质量题目均经重新检查:5题(均技能部分)可通过修订答案模型改进,2题需调整内容以适应国家药物可及性,4题需重新考虑底层学习目标。13题无需(n=8)或仅需微小(n=5)措辞调整。这些类别间可能存在重叠。
次要结局:考试成绩
总分中位数第一次考试66.2%(IQR 55.4%–74.3%),第二次58.9%(IQR 52.1%–65.8%)。各校成绩差异显著(均P<0.001),最低和最高中位分数第一次考试为52.7%和73.0%,第二次为49.3%和64.4%。知识与技能得分中位数第一次考试分别为78.8%(IQR 67.3%–86.5%)和36.4%(IQR 22.7%–50.0%),第二次分别为68.6%(IQR 60.8%–76.5%)和35.0%(IQR 22.7%–45.5%)。知识部分通过率第一次考试26.6%,第二次8.1%。
学生知识题得分最高为镇痛药(平均83.1%;标准差SD 23.5%;较所有其他主题P<0.001),最低为抗凝药(平均62.9%(SD 30.9%),较所有其他主题P<0.001)。技能题得分最高为心血管药物(50.1%(SD 31.4%),较所有其他主题P<0.001),最低为肺部药物(平均14.6%(SD 35.2%),较所有其他主题P<0.001)。
PBL课程学生成绩显著高于传统教学课程学生(第一次考试+11.4%,P<0.001;第二次+6.3%,P<0.001)。课程内含国家CPT考试的学生成绩也显著更高(第一次+11.7%,P<0.001;第二次+7.5%,P<0.001)。
欧洲处方考试是9所欧洲医学院校、EACPT、NVKFB及WHO欧洲区域办事处咨询支持的一项创新合作项目,旨在建立跨境免费的医学生安全处方考试。研究表明,尽管存在指南、语言(欧洲超20种)及药物可及性差异,仍可联合开发出有效可靠的全欧安全处方考试。94题中20题(21.3%)潜在低质量,主因难度高或CVR低。进一步分析显示9题技术上合适,仅11题(11.7%)因答案模型不当、表述不清、国家药物可及性差异或学习目标存疑需改进。总体而言,欧洲学生在此类国际考试中表现较差。假设考试高质量(本研究结果支持,最小化评估不足风险),这一发现表明处方能力不足。尤其缺乏抗凝药知识及肺部药物处方技能,这可指导未来欧洲CPT教育重点。结果强化了先前发现:PBL课程及课程内含结业CPT考试可带来更好的处方知识与技能。但这不保证高分,表明CPT教育仍需改进。
多数识别为潜在低质量的题目DI低,表明仅少数学生答对。这引发问题:是题目太难,还是学生缺乏相关知识技能而题目实际质量合适?专家小组认为18题中15题评估必要知识技能,提示学生能力差距可能是主因。参与院校教师认同这一差距,确认课程未充分强调处方教学与培训,尤其在选择正确药物治疗和书写处方方面(技能部分所需)。第二次考试中一道关于肺部药物处方的题目为例:多数学生未为慢性阻塞性肺病急性加重患者选择最适治疗——沙丁胺醇雾化吸入和泼尼松,而是处方沙丁胺醇干粉吸入剂或长效毒蕈碱拮抗剂,这可能贡献了该部分较低得分。近期一项关于欧洲处方考试实施的定性研究报道了类似发现,教师对学生表现差表示担忧,主要归因于CPT教育不足。同一研究中,教师也对题目相关性表示担忧,但本研究证明题目符合初衷,因独立专家小组结论92.2%题目评估必要知识技能。
质量角度,欧洲处方考试的可靠性(内部一致性、Rir值、SEM)与其他(国际)国家处方考试如荷兰DNPA和英国药理学会与医学院校理事会PSA相似。欧洲处方考试的内容效度比高于DNPA研究。但欧洲处方考试题目DI较低。与DNPA研究不同,本研究未将学生得分与专家组比较以建立效标效度。但团队假设总体效标效度合适,因考试基于考试蓝图(结构效度)合作开发,内容效度高,且所有题目经参与院校专家评审。组织角度,PSA是另一在线医学生处方考试,也可供他国医学院校使用,如丹麦、澳大利亚和新西兰院校成功使用PSA改编版。但与欧洲处方考试由所有参与院校专家合作开发不同,PSA由英国中心评估委员会创建和评审。此外,欧洲处方考试免费,使更多院校可参与,而PSA按生/次/年收费。
本研究证实毕业年级医学生缺乏处方能力,所有亚组能力水平低,但PBL教学优于传统方法,课程内含结业CPT考试是潜在有价值工具,可推广至各医学院校。但这不保证高分,表明CPT教育仍需改进。
成绩差异的另一解释是考试实施方式不同。所有院校均作形成性评估,但两校提供作为正式结课考试额外加分机会,这些学生可能动机更强。但其成绩第一次考试相似(总分差+0.4%,P=0.76),第二次略低(总分差-3.2%,P<0.001)。近期DNPA研究显示,学生报告形成性和总结性评估的动机和准备程度几乎相同,学生将此归因于专用CPT考试的重要性及高内在动机。这可能也适用于欧洲处方考试。但研究也显示总结性考试得分更高,表明未来研究应评估整体评估计划的影响。
成绩差异的另一可能解释是,有些院校在CPT课程前提供考试,有些在课程结束后。此外,团队未定性评估各参与院校的CPT课程。某课程可能投入更多时间至CPT或提供更吸引人的教育。
未来,基于欧洲处方考试合作开发的新考试质量可能至少相当。但目标进一步提升,使教师能基于考试结果评分。这表明欧洲处方考试可可行地作为全欧通用考试,回应EACPT统一和现代化CPT教育的呼吁。此外,该格式可扩展至其他处方专业人员,如护士、牙医和助产士,并可能部署至欧洲之外。总体,欧洲处方考试有潜力改进CPT教育,从而确保安全合理处方实践,贡献于WHO第三届全球患者安全挑战"用药无伤害"。
据所知,这是首个评估跨境安全处方考试可靠性和效度的研究。主要优势是国际(11国)多中心(16中心)设计及大量参与者(3109人),增加了结果普适性。大量参与者增强了心理测量分析和考试结果的可靠性。另一优势是评估内容效度的独立专家小组多国组成,代表广泛国家专业人士。但也有一些局限性需考虑。首先,考试实施在各参与院校间及内部均不同。这些考试程序差异可能影响考试成绩,从而影响心理测量分析的稳定性。相反,这可能更代表医学院校未来实施考试的方式。而且,研究显示考试作为形成性评估仍可靠。其次,多数学生在家参与,可能因使用外部帮助(如网络资源或同事)影响可靠性。但可靠性检验仍充足。第三,在考试完全形成性的院校,可能仅对CPT特别感兴趣的学生参与。这类选择偏倚,加上考试无监考,可能导致处方知识与技能高估。相反,总体参与度似乎高,体现在学生考试用时中位数及学生积极反馈。第四,各校参与者数量不同,且因在线招募方法,受邀学生数不明。因第15所院校较早将考试纳入官方课程,参与者更多,可能引入偏倚。而且,回应率无法确定。但鉴于多数院校参与者众,预期较高。第五,尽管团队通过经验丰富多样专家小组最大可能实现质量,但组内文化差异导致的期望不同可能仍影响效度。此外,技能部分引入新题型(处方题),需全面答案模型涵盖所有可能治疗。不完整答案模型可能贡献该部分较低得分。第六,考试以英语进行,可能造成问题,尽管学生反馈语言水平合适,且经一法国院校英语教师批准。
为推进欧洲处方考试实施,必须设定通过分数。知识部分猜题校正后80%的最低分数(如DNPA所用)目前似乎过高,因仅小部分学生通过。相反,专家小组认为多数题目评估必要知识,这证明高通过阈值的合理性。此类阈值也可通过"为考而教"原则改进各参与院校CPT教育。技能部分通过阈值仍有待讨论。建议组织所有参与院校代表专家小组就此达成共识。
学生完成考试部分用时少于分配90分钟。为提高考试时间效率及更好模拟真实处方条件(时间压力因素),减少考试时间可能为好主意,如总共120分钟,但这需未来评估。
未来应评估人工智能(AI)是否支持考试题目创建,以及使用AI时心理测量特性是否仍可接受。此外,学生目前考试后无直接反馈。提供正确答案并指南或其他资源参考——可能AI支持——可增加考试教育价值并促进学生学习。
未来研究应调查将欧洲处方考试融入欧洲医学课程是否改善年轻医生临床实践处方能力,从而提升处方安全性和效率,并可能影响患者结局。此外,应考虑统一和现代化欧洲CPT教育的其他方法,如口试,因国家间甚至课程间背景不同,可能需要不同方法。
最后,纵向研究可评估考试成绩是否随时间提高,反映考试在改进欧洲CPT教育中的作用。而且,为进一步优化实施,学生评估应补充2024年教师报告的已识别障碍和解决方案,以及关于长期成本效益和资源使用的研究指导。
本研究证明合作开发有效、可靠、标准化的全欧本科安全处方考试可行,且免费提供。此类考试满足年轻医生必备核心能力。而且,欧洲处方考试可作为统一和现代化全欧及更广地区CPT教育的有价值工具。目前,医学生处方知识与技能不足,凸显改进需求。引入结业CPT考试和使用PBL与更高考试成绩相关,故推荐采用。
生物通微信公众号
知名企业招聘