基于增强现实辅助的手术导航方法及系统

1.本发明涉及医学图像处理的技术领域，尤其涉及一种基于增强现实辅助的手术导航方法，以及基于增强现实辅助的手术导航系统，其主要用于精准地引导手术操作者完整插管。


背景技术：

2.内镜下逆行胰胆管造影术(endoscopic retrograde cholangiopancreatography,ercp)是消化内镜领域内技术难度最高、并发症风险最大、也是胆胰疾病患者最获益的一种内镜微创治疗手段。但是胆管结构因人而异，且呈现分叉树状结构，三维信息复杂，ercp在使用二维x射线影像引导的手术操作过程中，更多依赖主观想象及临床经验，尤其是初学ercp的术者，反复尝试插管会大大增强术后胰腺炎等并发症的发生。因此如何更加精准的引导术者完整插管，是解决临床问题的关键。
3.随着医学影像技术的发展，医生可在术前获得患者的ct/mr影像资料，并根据影像对病灶结构有了初步认识，并制定相应的手术规划。现有的光学导航及电磁导航技术可以通过光感小球及电磁传感器对术中器械进行跟踪，但在介入手术中均需经过消毒灭菌，确保对患者健康零伤害，实现较为复杂，大大降低了临床应用的效率。增强现实(ar)可以将术前影像与术中真实场景进行融合，具有物象立体化、交互实时性、视觉多样性的特点，非常适合于手术导航。目前ar技术已经应用于肝脏手术和颅底手术中，尚未出现ar辅助导航与ercp术式相结合的案例。
4.传统的基于二维x射线图像的引导方式对患者及医生辐射严重，长时间使用危害健康。由于x射线成像原理限制，传统x射线图像引导只能为术者提供二维结构信息，缺乏立体信息，在结构复杂的胆道处，术者只能通过术前影像分析及主观经验来多次尝试插入，效率低；且多次插入容易引发其他并发症。传统导航方式如光学导航或磁导航，需要通过光学标志物或磁传感器对手术器械尖端进行跟踪，在介入手术中必要时还需进入人体，设计医学消毒及伦理问题，推进较为复杂。并且，医生需佩戴增强现实眼镜设备(如hololens)，加重了医生负担，且视野受限。


技术实现要素：

5.为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于增强现实辅助的手术导航方法，其能够减少x射线的使用，帮助术者更为直观立体的观察手术器械所处位置，提升手术效率，可在体外进行导航，无须进入体内，安全健康，保证了手术导航的简易实施性。
6.本发明的技术方案是：这种基于增强现实辅助的手术导航方法，其包括以下步骤：
7.(1)对患者进行三维ct扫描；
8.(2)对于患者的胆管进行分割及三维重建，获得胆管的三维模型，将三维模型导入计算机中的存储单元，通过数据处理单元实现对胆管三维模型中心线的自动提取，且记录
中心线上各点的三维坐标信息；
9.(3)选择合适尺寸的特征标志物；
10.(4)部署增强现实辅助导航系统；
11.(5)通过识别特征标志物显示虚拟胆管模型；
12.(6)使用x射线对患者进行透视成像，生成的x射线影像实时导入计算机中，通过数据处理单元中的手术器械尖端检测算法获取到每一帧图像中尖端的二维坐标，依据2d-3d配准算法，将尖端坐标与三维胆管中心线点集坐标进行匹配，推导最佳概率匹配映射，判定手术器械尖端在三维胆管模型中的具体位置，并记录坐标。
13.本发明基于增强现实技术，以三维立体可视化手术导航方案对ercp介入手术操作进行引导，通过ar的三维显示特性帮助术者更为直观立体的观察手术器械所处位置，提升手术效率；术中减少了医生及患者所受辐射伤害，提高了手术效率及安全性；ar辅助导航方式对患者零伤害，消毒方便，应用快捷，且导航精度较高，符合临床实际手术需求。
14.还提供了基于增强现实辅助的手术导航系统，其包括：
15.特征标志物，用于跟踪，由医用胶带固定于患者皮肤表面，形状为正方形，根据术中具体场景选择尺寸；
16.计算机，包括存储单元、数据处理单元、配准单元；
17.存储单元用来存储当前手术患者的术前ct影像及患者的胆管三维分割模型；
18.数据处理单元通过术中实时二维x射线影像，实时分割手术器械尖端，获取坐标；同时调用存储单元中的胆管三维分割模型，获取分割模型的三维中心线点集坐标；通过2d-3d配准算法，获取手术器械尖端在三维模型中的具体位置坐标；
19.配准单元用于根据投影相机扫描单元获取的特征标记物图像，计算图像中心坐标，并与存储单元中的三维模型中心坐标进行比较，计算转换矩阵，包括位移及旋转，通过转换矩阵将图像中心与三维模型中心匹配重叠；
20.投影相机包括扫描单元及投影单元，扫描单元用来实时获取特征标记物的图案，并传输给计算机的数据处理单元；投影单元负责调用计算机存储单元中的胆管三维分割模型，并调用配准单元生成的转换矩阵及数据处理单元中器械尖端的位置坐标，将三维分割模型变换到与真实环境中患者对应的位姿下，立体投影至患者体表，并将尖端位置渲染成小球显示。
附图说明
21.图1是根据本发明的基于增强现实辅助的手术导航方法的流程图。
具体实施方式
22.如图1所示，这种基于增强现实辅助的手术导航方法，其包括以下步骤：
23.(1)对患者进行三维ct扫描；
24.(2)对于患者的胆管进行分割及三维重建，获得胆管的三维模型，将三维模型导入计算机中的存储单元，通过数据处理单元实现对胆管三维模型中心线的自动提取，且记录中心线上各点的三维坐标信息；
25.(3)选择合适尺寸的特征标志物；
26.(4)部署增强现实辅助导航系统；
27.(5)通过识别特征标志物显示虚拟胆管模型；
28.(6)使用x射线对患者进行透视成像，生成的x射线影像实时导入计算机中，通过数据处理单元中的手术器械尖端检测算法获取到每一帧图像中尖端的二维坐标，依据2d-3d配准算法，将尖端坐标与三维胆管中心线点集坐标进行匹配，推导最佳概率匹配映射，判定手术器械尖端在三维胆管模型中的具体位置，并记录坐标。
29.本发明基于增强现实技术，以三维立体可视化手术导航方案对ercp介入手术操作进行引导，通过ar的三维显示特性帮助术者更为直观立体的观察手术器械所处位置，提升手术效率；术中减少了医生及患者所受辐射伤害，提高了手术效率及安全性；ar辅助导航方式对患者零伤害，消毒方便，应用快捷，且导航精度较高，符合临床实际手术需求。
30.优选地，所述步骤(6)中，通过对三维胆管模型中心线的提取及术中x射线影像中导管尖端的检测，分别获得胆管中心线三维点集p＝{p1,...,pn}及尖端点集c＝{c1,...,c
t
}，为提高匹配效率，对三维点集及尖端点集进行简化，只保留胆管分支点坐标，以及分支点附近领域内的匹配点坐标，得到pm＝{p1,...,pm}与cm＝{c1,...,c
t
}，再使用隐马尔可夫模型hmm计算器械尖端与三维胆管中心线的概率匹配分布，完成二维到三维的映射，此处将术中包含器械尖端的实时影像作为观测状态序列o＝{o1,o2,...,o
t
}，利用维特比路径法得到隐藏状态序列，由于初始状态下器械尖端映射至三维ct胆管图像中的坐标未知，故设置隐藏状态序列s＝{s1,s2,...,sm}，对应胆管中心线主节点坐标序列pm＝{p1,...,pm}，其中m为节点个数，尖端位于坐标点pi的概率为hmm位于状态si的概率，状态转移概率矩阵中的每一个元素描述了三维胆管中器械尖端从一个点pi移动到另一个点pj的概率，且得到状态转移概率矩阵：
[0031][0032]
其中σa代表器械移动的速度与位移，d(pi,pj)表示两点间距离，此处通过胆管中心线各点间沿中心线方向的距离来计算转移概率；观测生成概率矩阵以x射线图像成像内参矩阵为基础进行计算，定义了t时刻下器械尖端位于3d坐标pi对应2d坐标c
t
的概率
[0033][0034]
其中，σs表示配准过程中的缩放比例，τ表示刚性变换矩阵，f
cost
表示在已知变换矩阵的前提下器械尖端2d点与3d胆管中心线点的相似性测度；利用维特比路径法解码，初始状态下器械尖端位于胆管中任何位置，将采用递归的方法迭代更新评分，评估尖端实时修正2d坐标与胆管中心线点集匹配概率，将实时器械尖端映射至ct胆管图像坐标系下。
[0035]
优选地，所述步骤(5)中，将特征标志物通过医用胶带粘贴在患者体表，将投影相机对准特征标志物，确保标志物可被相机实时捕获；接下来相机中的扫描单元将所捕获的
视野传输给计算机的配准单元，配准单元计算图像的中心点坐标。
[0036]
优选地，所述步骤(5)中，采用阈值分割的方法对特征标志物图案进行粗提取，获得4条边线；
[0037]
使用粒子群优化算法提取图像中心点，以线段line1的中点为中心，分别以line0和line3的方向向量为法线构建垂直于line0的平面和垂直于line3的平面，然后分别求解line0的延长线和line3的延长线与2个平面的交点p0、p1，然后以线段line2的中点为中心，同上述方法一样构建2个垂直于line0和line3的平面，然后求解另外2个交点p2、p3；上述求得的p0、p1、p2、p3为标志靶盘平面的4个初始边缘角点，基于一个前提：两条相邻线段的最佳角点与两条线段的距离和最小，求得初始角点为搜索初值，构建如下基于点到直线的距离代价函数：
[0038][0039]
其中，d表示点到线段的距离；
[0040]
分别对4个初始角点构建代价函数，然后采用粒子群优化算法进行迭代求解最优角点坐标；经过pso优化后输出的4个点为最佳标志物平面的4个边缘角点；连接4个边缘角点求得两对角线交点为特征标志物图像中心点，用来完成配准。
[0041]
优选地，所述粒子群优化算法包括以下步骤：
[0042]
(5.1)设置变量维度、粒子数量、最大迭代次数、不同变量维度的步长、权重系数和加速度因子；
[0043]
(5.2)以初始角点坐标为初值设定搜索范围；
[0044]
(5.3)更新迭代。
[0045]
优选地，所述步骤(5)中，调用存储单元中的三维胆管分割模型，计算其三维中心点及初始方向法向量，通过两者中心点及法向量对齐计算得到转换矩阵，并对三维胆管分割模型进行自动平移及旋转操作，校准得到与术中患者位姿一致的形态；最后通过投影相机的投影单元，将校准后的三维胆管模型采用3d投影的方式透射至患者体表。
[0046]
优选地，所述步骤(5)中，将数据处理单元计算的尖端在三维胆管模型中的具体位置坐标进行渲染，同样投影至患者体表显示。
[0047]
优选地，所述步骤(5)中，为加强器械尖端在胆管模型中的显示效果，采用基于深度剥离的方法进行渲染，针对三维显示场景，将其剥离成n层，获得每第i层的像素信息，包括透明度(a)和颜色(r，g，b)；若给定像素的所有颜色相同，则结果将独立于片段为透明度(a)混合的顺序；为处理不均匀的透明度，利用oit方法对每个像素值(r，g，b，a)进行加权平均表示为：
[0048][0049]
优选地，所述步骤(5)中，基于oit添加目标重要性排序；首先在术前手术规划时完成目标的重要性排序，确定胆管有正确的透明覆盖合成关系和遮挡关系，假设第i层面片的
重要性因子为si，则目标结构的最终颜色合成cf表示为：
[0050][0051]
其中ci表示第i层面片的颜色，αi表示第i层面片的透明度，ki为该层面片在累积函数中的功率函数，期望对于合成结果的颜色在透明度上具有更加明显的区分度。由此，医生可以在不佩戴任何设备的前提下，对尖端当前位置实现裸眼可视，更方便快捷的引导医生进行手术，提高导航效果。
[0052]
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于增强现实辅助的手术导航系统，该系统通常以与方法各步骤相对应的功能模块的形式表示。该系统包括：
[0053]
特征标志物，用于跟踪，由医用胶带固定于患者皮肤表面，形状为正方形，根据术中具体场景选择尺寸；
[0054]
计算机，包括存储单元、数据处理单元、配准单元；
[0055]
存储单元用来存储当前手术患者的术前ct影像及患者的胆管三维分割模型；
[0056]
数据处理单元通过术中实时二维x射线影像，实时分割手术器械尖端，获取坐标；同时调用存储单元中的胆管三维分割模型，获取分割模型的三维中心线点集坐标；通过2d-3d配准算法，获取手术器械尖端在三维模型中的具体位置坐标；
[0057]
配准单元用于根据投影相机扫描单元获取的特征标记物图像，计算图像中心坐标，并与存储单元中的三维模型中心坐标进行比较，计算转换矩阵，包括位移及旋转，通过转换矩阵将图像中心与三维模型中心匹配重叠；
[0058]
投影相机包括扫描单元及投影单元，扫描单元用来实时获取特征标记物的图案，并传输给计算机的数据处理单元；投影单元负责调用计算机存储单元中的胆管三维分割模型，并调用配准单元生成的转换矩阵及数据处理单元中器械尖端的位置坐标，将三维分割模型变换到与真实环境中患者对应的位姿下，立体投影至患者体表，并将尖端位置渲染成小球显示。
[0059]
本发明与现有技术相比，具有以下有益效果：
[0060]
1、本发明基于增强现实技术，以三维立体可视化手术导航方案对ercp介入手术操作进行引导，在不影响手术流程及医生操作习惯的前提下，无须佩戴多余设备，通过安全快速直观的方式将术前影像信息与术中场景进行了有效结合，充分利用了已有资源；术中减少了医生及患者所受辐射伤害，提高了手术效率及安全性；本发明的ar辅助导航方式对患者零伤害，消毒方便，应用快捷，且导航精度较高，符合临床实际手术需求。
[0061]
2、本发明在2例胆管模型中进行了多次实施，2例胆管模型均从真实患者影像中分割重建所得，但来自于不同患者，结构复杂度不同，2类胆管模型相较于真实胆管放大比分别为1:1和1:1.35，分别对比了导航误差(mm)及插管所需时间(s)两个评估参数。
[0062][0063]
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

技术特征：
1.基于增强现实辅助的手术导航方法，其特征在于：其包括以下步骤：(1)对患者进行三维ct扫描；(2)对于患者的胆管进行分割及三维重建，获得胆管的三维模型，将三维模型导入计算机中的存储单元，通过数据处理单元实现对胆管三维模型中心线的自动提取，且记录中心线上各点的三维坐标信息；(3)选择合适尺寸的特征标志物；(4)部署增强现实辅助导航系统；(5)通过识别特征标志物显示虚拟胆管模型；(6)使用x射线对患者进行透视成像，生成的x射线影像实时导入计算机中，通过数据处理单元中的手术器械尖端检测算法获取到每一帧图像中尖端的二维坐标，依据2d-3d配准算法，将尖端坐标与三维胆管中心线点集坐标进行匹配，推导最佳概率匹配映射，判定手术器械尖端在三维胆管模型中的具体位置，并记录坐标。2.根据权利要求1所述的基于增强现实辅助的手术导航方法，其特征在于：所述步骤(6)中，通过对三维胆管模型中心线的提取及术中x射线影像中导管尖端的检测，分别获得胆管中心线三维点集p＝{p1,...,p
n
}及尖端点集c＝{c1,...,c
t
}，为提高匹配效率，对三维点集及尖端点集进行简化，只保留胆管分支点坐标，以及分支点附近领域内的匹配点坐标，得到p
m
＝{p1,...,p
m
}与c
m
＝{c1,...,c
t
}，再使用隐马尔可夫模型hmm计算器械尖端与三维胆管中心线的概率匹配分布，完成二维到三维的映射，此处将术中包含器械尖端的实时影像作为观测状态序列o＝{o1,o2,...,o
t
}，利用维特比路径法得到隐藏状态序列，由于初始状态下器械尖端映射至三维ct胆管图像中的坐标未知，故设置隐藏状态序列s＝{s1,s2,...,s
m
}，对应胆管中心线主节点坐标序列p
m
＝{p1,...,p
m
}，其中m为节点个数，尖端位于坐标点p
i
的概率为hmm位于状态s
i
的概率，状态转移概率矩阵中的每一个元素a
ij
描述了三维胆管中器械尖端从一个点p
i
移动到另一个点p
j
的概率，且得到状态转移概率矩阵：其中σ
a
代表器械移动的速度与位移，d(p
i
,p
j
)表示两点间距离，此处通过胆管中心线各点间沿中心线方向的距离来计算转移概率；观测生成概率矩阵以x射线图像成像内参矩阵为基础进行计算，定义了t时刻下器械尖端位于3d坐标p
i
对应2d坐标c
t
的概率其中，σ
s
表示配准过程中的缩放比例，τ表示刚性变换矩阵，f
cost
表示在已知变换矩阵的前提下器械尖端2d点与3d胆管中心线点的相似性测度；利用维特比路径法解码，初始状态下器械尖端位于胆管中任何位置，将采用递归的方法迭代更新评分，评估尖端实时修正2d
坐标与胆管中心线点集匹配概率，将实时器械尖端映射至ct胆管图像坐标系下。3.根据权利要求2所述的基于增强现实辅助的手术导航方法，其特征在于：所述步骤(5)中，将特征标志物通过医用胶带粘贴在患者体表，将投影相机对准特征标志物，确保标志物可被相机实时捕获；接下来相机中的扫描单元将所捕获的视野传输给计算机的配准单元，配准单元计算图像的中心点坐标。4.根据权利要求3所述的基于增强现实辅助的手术导航方法，其特征在于：所述步骤(5)中，采用阈值分割的方法对特征标志物图案进行粗提取，获得4条边线；使用粒子群优化算法提取图像中心点，以线段line1的中点为中心，分别以line0和line3的方向向量为法线构建垂直于line0的平面和垂直于line3的平面，然后分别求解line0的延长线和line3的延长线与2个平面的交点p0、p1，然后以线段line2的中点为中心，同上述方法一样构建2个垂直于line0和line3的平面，然后求解另外2个交点p2、p3；上述求得的p0、p1、p2、p3为标志靶盘平面的4个初始边缘角点，基于一个前提：两条相邻线段的最佳角点与两条线段的距离和最小，求得初始角点为搜索初值，构建如下基于点到直线的距离代价函数：其中，d表示点到线段的距离；分别对4个初始角点构建代价函数，然后采用粒子群优化算法进行迭代求解最优角点坐标；经过pso优化后输出的4个点为最佳标志物平面的4个边缘角点；连接4个边缘角点求得两对角线交点为特征标志物图像中心点，用来完成配准。5.根据权利要求4所述的基于增强现实辅助的手术导航方法，其特征在于：所述粒子群优化算法包括以下步骤：(5.1)设置变量维度、粒子数量、最大迭代次数、不同变量维度的步长、权重系数和加速度因子；(5.2)以初始角点坐标为初值设定搜索范围；(5.3)更新迭代。6.根据权利要求1所述的基于增强现实辅助的手术导航方法，其特征在于：所述步骤(5)中，调用存储单元中的三维胆管分割模型，计算其三维中心点及初始方向法向量，通过两者中心点及法向量对齐计算得到转换矩阵，并对三维胆管分割模型进行自动平移及旋转操作，校准得到与术中患者位姿一致的形态；最后通过投影相机的投影单元，将校准后的三维胆管模型采用3d投影的方式透射至患者体表。7.根据权利要求6所述的基于增强现实辅助的手术导航方法，其特征在于：所述步骤(5)中，将数据处理单元计算的尖端在三维胆管模型中的具体位置坐标进行渲染，同样投影至患者体表显示。8.根据权利要求7所述的基于增强现实辅助的手术导航方法，其特征在于：所述步骤(5)中，为加强器械尖端在胆管模型中的显示效果，采用基于深度剥离的方法进行渲染，针对三维显示场景，将其剥离成n层，获得每第i层的像素信息，包括透明度(a)和颜色(r，g，
b)；若给定像素的所有颜色相同，则结果将独立于片段为透明度(a)混合的顺序；为处理不均匀的透明度，利用oit方法对每个像素值(r，g，b，a)进行加权平均表示为：9.根据权利要求8所述的基于增强现实辅助的手术导航方法，其特征在于：所述步骤(5)中，基于oit添加目标重要性排序；首先在术前手术规划时完成目标的重要性排序，确定胆管有正确的透明覆盖合成关系和遮挡关系，假设第i层面片的重要性因子为s
i
，则目标结构的最终颜色合成c
f
表示为：其中c
i
表示第i层面片的颜色，α
i
表示第i层面片的透明度，k
i
为该层面片在累积函数中的功率函数，期望对于合成结果的颜色在透明度上具有更加明显的区分度。10.基于增强现实辅助的手术导航系统，其特征在于：其包括：特征标志物，用于跟踪，由医用胶带固定于患者皮肤表面，形状为正方形，根据术中具体场景选择尺寸；计算机，包括存储单元、数据处理单元、配准单元；存储单元用来存储当前手术患者的术前ct影像及患者的胆管三维分割模型；数据处理单元通过术中实时二维x射线影像，实时分割手术器械尖端，获取坐标；同时调用存储单元中的胆管三维分割模型，获取分割模型的三维中心线点集坐标；通过2d-3d配准算法，获取手术器械尖端在三维模型中的具体位置坐标；配准单元用于根据投影相机扫描单元获取的特征标记物图像，计算图像中心坐标，并与存储单元中的三维模型中心坐标进行比较，计算转换矩阵，包括位移及旋转，通过转换矩阵将图像中心与三维模型中心匹配重叠；投影相机包括扫描单元及投影单元，扫描单元用来实时获取特征标记物的图案，并传输给计算机的数据处理单元；投影单元负责调用计算机存储单元中的胆管三维分割模型，并调用配准单元生成的转换矩阵及数据处理单元中器械尖端的位置坐标，将三维分割模型变换到与真实环境中患者对应的位姿下，立体投影至患者体表，并将尖端位置渲染成小球显示。

技术总结
基于增强现实辅助的手术导航方法及系统，方法包括：(1)对患者进行三维CT扫描；(2)对胆管进行分割及三维重建，获得胆管的三维模型，将三维模型导入计算机中的存储单元，通过数据处理单元对胆管三维模型中心线提取，记录中心线上各点的三维坐标信息；(3)选择合适尺寸的特征标志物；(4)部署增强现实辅助导航系统；(5)通过识别特征标志物显示虚拟胆管模型；(6)使用X射线对患者进行透视成像，通过数据处理单元中的手术器械尖端检测算法获取到每一帧图像中尖端的二维坐标，依据2D-3D配准算法，将尖端坐标与三维胆管中心线点集坐标进行匹配，推导最佳概率匹配映射，判定手术器械尖端在三维胆管模型中的具体位置，并记录坐标。并记录坐标。并记录坐标。


技术研发人员：杨健 杨硕 艾丹妮 范敬凡 宋红
受保护的技术使用者：北京理工大学
技术研发日：2021.12.06
技术公布日：2022/3/8