发布于:2023-07-26
原创

南昌大学二附院曾涛教授团队成功应用混合现实技术助力临床教学及精准医疗

近年来,随着科技的不断进步,扩展现实技术(VR、AR、MR)正以前所未有的方式影响着各行各业。近期,南昌大学第二附属医院曾涛教授团队成功将扩展现实技术应用于外科手术教学及临床手术中,通过改变外科手术教学的传统模式,让青年医生、学生能够身临其境地体验手术操作,提升技能水平,并且为患者的治疗提供更加精确和安全的保障。

在手术模拟体验中,医生和同学们可以穿戴 VR 设备,通过高度还原的手术室虚拟环境,观察和参与手术操作,感受手术过程中的各种细节,包括器械的使用、组织的解剖等(图 1)。这种「沉浸式体验」可以更加深入地了解手术技巧,并在真实手术中更加从容自信地应对各种情况。

南昌大学二附院曾涛教授团队成功应用混合现实技术助力临床教学及精准医疗
图 1:曾涛教授通过 VR 设备带领同学们观察手术操作

在手术教学中,增强现实技术(AR)则扮演了重要角色。使用 AR 设备,可以将虚拟信息叠加在真实场景中(图 2)。在手术或操作过程中,学生可以通过 AR 眼镜看到实时的解剖结构、血管和神经网络等重要信息,这种便捷的视觉辅助工具提供了更加直观、精确的指导,同时也有助于医生在手术中准确把握重要结构,避免潜在的风险和损伤。

南昌大学二附院曾涛教授团队成功应用混合现实技术助力临床教学及精准医疗
图 2:曾涛教授通过 VR 及 MR 设备指导规培学员练习导尿操作

而混合现实技术(MR)则带来了一种全新的交互方式。通过 MR 设备,医生可以与虚拟模型进行互动,将手术操作与虚拟模型结合起来。医生可以通过手势识别或者控制器进行操作,触摸、旋转、放大或缩小虚拟模型,以便更好地理解和演示手术步骤(图 3)。这种交互性的体验,有利于医生在实践中熟悉手术过程,提高操作的准确性和效率。

南昌大学二附院曾涛教授团队成功应用混合现实技术助力临床教学及精准医疗
图 3:曾涛教授向青年医师及规培学员展示、讲解手术要点

不仅如此,曾涛教授团队还将混合现实技术(MR)应用于临床。近日,他们成功将混合现实(MR)技术应用于一例肾部分切除手术,在手术过程中进行术中导航,并帮助医患沟通。

肾部分切除术的主要目的是去除恶性或良性肿瘤、囊肿或其他异常组织,以防止它们进一步生长或扩散到其他组织或器官,在此基础上还要最大限度地保留健康的肾脏组织,以确保足够的肾功能和避免肾功能不全。肾部分切除手术的过程相对复杂,对于缺乏医疗知识的患者及其家属来说,往往难以全面理解。通过使用头戴式显示器和相应的应用程序,医生与患者及其家属进行实时沟通,并提供更清晰、直观的解释,使患者及其家属能够通过虚拟图像直观地了解肾部分切除术的手术过程和相关解剖结构。同时,医生可以使用虚拟图像和模型进行演示和讲解,帮助患者更好地了解手术的目的、过程和预期结果。这种实时的、交互式的医患沟通有助于建立更强的信任和合作关系,提升患者的手术体验和满意度(图 4、图 5)。

南昌大学二附院曾涛教授团队成功应用混合现实技术助力临床教学及精准医疗
南昌大学二附院曾涛教授团队成功应用混合现实技术助力临床教学及精准医疗
图 4、图 5:曾涛教授通过 MR 眼镜同患者家属交流手术风险

本次肾部分切除术经由达芬奇机器人辅助完成。腹腔镜手术是一种微创手术技术,能够最大程度减少患者的手术创伤和康复时间。而达芬奇机器人系统的引入更是将手术的精确度和可操作性提升到一个新的水平。该系统由一台机器人臂和一个高清晰度三维视觉系统组成,使医生能够进行更加精确和细致的手术操作。

在这次手术中,混合现实技术的优势得到了充分展示。医疗团队通过佩戴 Hololens 眼镜,将患者的三维重建图像与实际手术场景进行重叠显示,实现了高度精确的术中导航。这使得医生能够准确地定位肾脏病变区域,并在手术过程中避开重要结构,最大限度地保护患者的健康(图 6、图 7),实现了最大程度减少手术创伤、降低并发症风险以及加快康复过程的目标。

南昌大学二附院曾涛教授团队成功应用混合现实技术助力临床教学及精准医疗
南昌大学二附院曾涛教授团队成功应用混合现实技术助力临床教学及精准医疗
图 6、图 7:曾涛教授团队成功将 MR 技术应用于术中导航

在混合现实技术更加普及的将来,医院还可以通过远程连接和共享虚拟现实环境,进行远程教学和团队合作,促进知识的传递和经验的分享。南昌大学第二附属医院泌尿外科曾涛教授对混合现实技术的成功应用,是助力临床教学及精准医疗高质量发展的创新举措。接下来,曾涛教授将继续带领团队探索更多创新的方法和应用场景,进一步提升外科手术教学的效果,并将其推广应用到更广泛的医学教育和临床实践中,让医疗服务更加智能化、精准化和人性化。

推荐阅读

合作咨询