《Journal of Clinical Neuroscience》：Extended reality in the changing landscape of cranial neurosurgery: Role of image fusions and connectomics in precision and safety
编辑推荐：
神经外科手术中扩展现实（XR）技术整合术前规划、术中导航及远程协作，结合连接组学、AI影像融合（如nnU-Net51）及多模态成像（ICG、5-ALA等），显著提升手术精度与安全性。挑战包括注册误差、视觉延迟及晕动症，未来方向涉及虚拟训练环境、实时影像融合及患者教育优化。
Gagandeep Singh | Annie Singh | Tejasvi Kainth | Sidharth Sunil Menon | Shubham Jain | Vadim Spektor | Prateek Prasanna | Sunil Manjila
美国纽约哥伦比亚大学欧文医学中心放射科神经放射学部门
摘要
近年来，增强现实（AR）、虚拟现实（VR）和混合现实（MR）技术（统称为扩展现实，XR）被应用于神经外科手术中，通过向临床环境添加相关数字内容来提升可视化效果。这些突破性技术，包括连接组学（connectomics），已成功整合到神经外科手术中，用于术前演练、手术模拟和术中辅助。XR技术在手术领域的应用帮助神经外科医生利用连接组学进行术前规划，并预测潜在并发症。XR技术使医生能够从多个角度观察手术区域，可视化隐藏的神经血管结构，从而提高微创手术的精确度。此外，它还解决了住院医师的工作时间限制问题以及新冠疫情带来的挑战，为新手和专家提供了先进的培训工具。同时，XR技术促进了远程直播、患者教育、远程协作，并有助于缩小全球神经外科领域的教育差距，包括资格认证和再认证。本文阐述了AR、VR和MR之间的概念差异，强调了XR技术的优势与局限性，以及连接组学在显微神经外科和内镜神经外科中的作用。文章还探讨了2D与3D成像的对比、术前成像与实时成像的结合、ICG、5-ALA或荧光素血管造影等额外成像数据的融合，以及Surgical Theater、QuickTome等新兴技术的应用。此外，本文还强调了参与者在手术中使用MR技术时的视觉空间定位能力、共同目标以及不同能力水平的重要性。
引言
过去十年间，PubMed上关于混合现实技术在神经外科应用的相关文献数量显著增加（图1）[[1], [2], [3], [4], [5], [6], [7], [8]]。XR技术彻底改变了手术室内的神经外科管理和教学方式，丰富了传统的学徒制培训体系。除了直接操作组织的经验外，XR技术还利用神经影像将患者的三维神经解剖结构投影到四维空间中。借助这种空间定位能力，医生可以更清晰地观察各种手术路径，选择最佳的微创手术路径来接近病变部位，从而降低并发症风险。例如，从FTOZ开颅术到经眉部微创开颅术（结合眶切开术或逐步扩大开颅范围），再到经眼眶内侧或对侧经上颌扩展的内鼻入路（以避免经过翼突管），以及经颈静脉孔入路（根据病变位置/中心，避免损伤颅底池内的神经血管结构）。同样，Surgical Theater中的增强现实技术可以帮助医生在切除骨头和肿瘤之前，通过叠加的CT血管造影图像观察到Willis动脉及其分支的位置。
本综述探讨了扩展实在颅脑神经外科中的演变作用，特别强调了图像融合技术和连接组学如何提高手术精确度和安全性。内容涵盖了术前和术中应用，包括微创手术、颅底手术和内镜神经外科。此外，还讨论了辅助成像模式（如吲哚菁绿ICG、5-氨基莱沃林酸5-ALA和荧光素血管造影）的整合，以及术前MRI与实时超声成像的结合。综述还探讨了远程协作、全球培训计划和患者参与策略等应用。主要目的是批判性地评估当前XR技术在颅脑神经外科中的应用，分析其优势与局限性，以及图像融合和连接组学对手术规划、执行和结果的影响。次要目标是探讨XR技术如何改善神经外科教育，扩大全球培训机会，并增强患者沟通。
技术基础
颅脑神经外科的基本原则是在切除病变时尽量减少脑组织损伤，仅切除病变组织而不影响正常脑组织。传统的成像方式仅能显示大脑的二维结构，医生需要将二维图像与患者的三维解剖结构进行对应。这促使了自动配准方法的发展，以实现图像引导的手术。
研究选择与质量评估
文献检索采用探索性方法，未遵循结构化的系统评价框架。相关研究通过关键词组合（如“增强现实”、“扩展现实”、“虚拟现实”、“神经外科”和“手术规划”在PubMed上进行筛选。符合条件的研究需为英文原创文章，且需描述XR技术在神经外科规划或培训中的应用。
术前规划
传统上，术前影像指导神经外科医生针对肿瘤进行精准切除。但这些二维成像方式无法提供三维结构信息，导致手术过程中精度下降，因为医生需要在MR或CT图像与实际手术视野之间反复切换。XR技术将这两种成像方式与实时手术视野结合，为医生提供三维空间关系。问题
XR技术在神经外科具有巨大潜力，但在成为标准实践之前仍面临诸多挑战，如配准误差、深度感知不足、视觉-触觉不同步以及视野遮挡等问题。此外，“网络不适”（恶心、头晕和定向障碍）也是患者和医生面临的问题。
现状
早期的基于摄像头的AR系统存在校准和失真问题，深度感知也受到调节-汇聚机制的影响。
未来方向
扩展现实技术结合人工智能和医学影像，将改变外科培训方式。它们为培训中的医生提供适应性虚拟环境，帮助提升运动技能和临床决策能力。一个关键应用是将实时手术图像与术前MRI结合，利用深度学习技术实现精确的肿瘤分割，从而提高培训效果。
结论
扩展实在神经外科领域已从早期实验工具发展成为多功能平台，目前广泛应用于术前规划、术中操作和患者教育，展现出在手术规划、术中导航、培训整合、远程指导以及提升患者信心方面的显著优势。该技术还与Surgical Theater、机器人技术（如ROSA）、先进成像模式（ICG、荧光素、5-ALA）等辅助技术相兼容。
CRediT作者贡献声明
Gagandeep Singh：撰写——审稿与编辑、初稿撰写、监督、方法论设计、概念构建。
Annie Singh：撰写——审稿与编辑、初稿撰写、可视化效果设计、方法论设计、概念构建。
Tejasvi Kainth：撰写——审稿与编辑、初稿撰写、方法论设计、数据整理。
Sidharth Sunil Menon：撰写——审稿与编辑、初稿撰写、可视化效果设计。
Shubham Jain：撰写——审稿与编辑、初稿撰写、数据整理。
利益冲突声明
作者声明不存在可能影响本文研究的财务利益或个人关系。
