基于多尺度特征融合的细胞核实例分割方法

本发明涉及医学图像处理领域，具体涉及一种基于多尺度特征融合的细胞核实例分割方法。

背景技术：

1、在病理学中，细胞核的形态和分布特征对于疾病的诊断和治疗具有重要意义。通过准确地分割出细胞核，医生可以进行更精确的病理分析，识别细胞的异常形态和结构，从而帮助确定疾病的类型、分级和预后。此外，细胞核实例分割还可以用于评估药物对细胞和组织的影响，以及监测治疗效果。由于病理图像中细胞核的复杂性和多样性，细胞核实例分割是一项具有挑战性的任务。细胞核通常具有不规则的形状、不同的大小和颜色，并且可能存在重叠和接触现象。此外，病理图像中常常伴随着噪声、伪影和不均匀的照明，这进一步增加了分割任务的难度。

技术实现思路

1、本发明为了克服以上技术的不足，提供了一种提高了对细胞核实例分割的准确性的基于多尺度特征融合的细胞核实例分割方法。

2、本发明克服其技术问题所采用的技术方案是：

3、一种基于多尺度特征融合的细胞核实例分割方法，包括：

4、a)获取n张细胞核图像及其对应的标签，得到细胞核图像集y和标签集g，y＝{y1,y2,...,yi,...,yn}，yi为第i张细胞核图像，i∈{1,...,n}，g＝{g1,g2,...,gi,...,gn}，gi为第i张细胞核图像yi对应的标签；

5、b)将细胞核图像集y划分为训练集p、测试集t，p＝{p1,p2,...,pi,...,po}，pi为训练集p中第i张细胞核图像，i∈{1,...,o}，o为训练集p中细胞核图像总数，t＝{t1,t2,…,ti,…,tq}，ti为测试集t中第i张细胞核图像，i∈{1,...,q}，q为测试集t中细胞核图像总数；

6、c)将训练集p中第i张细胞核图像pi对应的标签gi转换为细胞核边缘轮廓标签及热力图标签训练集p中所有的细胞核边缘轮廓标签构成细胞核边缘轮廓标签集训练集p中所有的热力图标签构成热力图标签集

7、d)建立分割网络，分割网络由特征提取模块、掩码优化算法模块、后处理算法模块构成；

8、e)将训练集p中第i张细胞核图像pi输入到分割网络的特征提取模块中，输出得到特征图特征图特征图

9、f)利用特征图得到细胞核关键点图

10、g)将特征图特征图细胞核关键点图输入到分割网络的掩码优化算法模块，输出得到特征图

11、h)将特征图与特征图输入到分割网络的后处理算法模块中，输出得到最终的细胞核实例分割图i)使用sgd优化器利用总损失函数ltotal训练分割网络，得到优化后的分割网络；j)将测试集t中第i张细胞核图像pi输入到优化后的分割网络中，输出得到细胞核实例分割图进一步的，步骤a)中从monuseg数据集中获取n张细胞核图像及其对应的标签。进一步的，步骤b)中将细胞核图像集y按照7:3的比例划分为训练集p、测试集t。

12、进一步的，步骤c)包括如下步骤：

13、c-1)使用cv2.boundingrect()函数获取训练集p中第i张细胞核图像pi对应的标签gi的边界矩形信息，所述边界矩形信息包括中心点坐标、边界矩形的高度、边界矩形的宽度；

14、c-2)将边界矩形的高度、边界矩形的宽度输入到gaussian_radius()函数计算得到高斯核的半径radius；

15、c-3)通过dia＝2*(radius+1)计算得到高斯核的直径dia；

16、c-4)将直径dia输入到astropy库的gussian2d()函数中，得到高斯核gk；c-5)将高斯核gk放置到边界矩形的中心点坐标处，得到热力图标签c-6)将训练集p中第i张细胞核图像pi对应的标签gi通过np.array()函数转换成numpy格式的numpy数组；

17、c-7)使用cv2.canny()对numpy数组进行边缘检测并通过np.uint8()函数转换为uint8类型的边缘检测图像；

18、c-8)将边缘检测图像非零像素的值设置为255，其余像素的值设置为0，得到细胞核边缘轮廓标签进一步的，步骤e)包括如下步骤：

19、e-1)分割网络的特征提取模块由u-net模型、第一二维反卷积层、第二二维反卷积层、第三二维反卷积层构成，将训练集p中第i张细胞核图像pi输入到特征提取模块的u-net模型中，输出得到特征图mi；

20、e-2)将特征图mi输入到特征提取模块的第一二维反卷积层中，输出得到特征图

21、e-3)将特征图mi输入到特征提取模块的第二二维反卷积层中，输出得到特征图

22、e-4)将特征图mi输入到特征提取模块的第三二维反卷积层中，输出得到特征图

23、进一步的，步骤f)中利用skimage包中的peak_local_max()函数寻找特征图局部峰值，得到细胞核关键点图进一步的，步骤g)包括如下步骤：

24、g-1)将特征图输入到分割网络的掩码优化算法模块中，使用image.new()函数初始化一张与特征图相同尺寸的空白特征图g-2)将细胞核关键点图输入到分割网络的掩码优化算法模块中，通过np.column_stack(np.where())函数获得细胞核关键点图的n个细胞核关键点，得到关键点集合k，k＝{k1,k2,…,ki,…,kn}，ki为第i个细胞核关键点，i∈{1,…,n}；

25、g-3)将特征图输入到分割网络的掩码优化算法模块中，通过cv2.findcontours()函数获得特征图中的m个细胞核边界，得到细胞核边界集e，e＝{e1,e2,…,ei,...,en}，ei为第i个细胞核边界；

26、g-4)使用sklearn.neighbors.nearestneighbors()函数对第i个细胞核关键点ki进行最近邻搜索，当找到对应的边界第i个细胞核边界ei时停止搜索，在空白特征图中对应的位置标记为1，空白特征图所有对应位置标记完成后，得到特征图进一步的，步骤h)包括如下步骤：

27、h-1)将特征图与特征图输入到分割网络的后处理算法模块中进行相减操作，得到差图h-2)使用cv2.connectedcomponentswithstats()函数对差图进行连通组件分析，输出得到每一个连通区域的集合c，c＝{c1,c2,...,ci,...,cn}，ci为差图中第j个小区域，如果第j个小区域ci小于5像素，则将其删除，如果第j个小区域ci大于等于5像素，则将其保留，得到特征图h-3)使用cv2.dilate()函数对特征图进行膨胀操作，得到最终的细胞核实例分割图膨胀操作时的卷积核为kernel，进一步的，步骤i)中通过公式ltotal＝lp+ledge+lm计算得到总损失函数ltotal，式中lp为均方误差损失函数，热力图标签为均方误差损失函数lp的标签图，特征图为均方误差损失函数lp的原图，ledge为二元交叉熵损失函数，特征图为二元交叉熵损失函数ledge的原图，细胞核边缘轮廓标签为二元交叉熵损失函数ledge的标签图，lm为交叉熵损失函数，特征图为交叉熵损失函数lm的原图，第i张细胞核图像yi对应的标签gi为交叉熵损失函数lm的标签图。

28、本发明的有益效果是：点特征能够精确定位细胞核的位置，线特征能够描述细胞核的形状和轮廓，而面特征则提供了对细胞核区域的整体描述，综合利用了点、线和面的特征，实现了对细胞核的全面描述，增加了网络的表征能力。首先提出一个掩码优化算法模块有效的合并点特征与边界特征。其次我们引入了一种后处理方法，结合目标信息和细胞核掩码图像生成一个实例分割图像。所提出基于多尺度特征融合的细胞核实例分割方法中每个组件的有效性。

技术特征：

1.一种基于多尺度特征融合的细胞核实例分割方法，其特征在于，包括：

2.根据权利要求1所述的基于多尺度特征融合的细胞核实例分割方法，其特征在于：步骤a)中从monuseg数据集中获取n张细胞核图像及其对应的标签。

3.根据权利要求1所述的基于多尺度特征融合的细胞核实例分割方法，其特征在于：步骤b)中将细胞核图像集y按照7:3的比例划分为训练集p、测试集t。

4.根据权利要求1所述的基于多尺度特征融合的细胞核实例分割方法，其特征在于，步骤c)包括如下步骤：

5.根据权利要求1所述的基于多尺度特征融合的细胞核实例分割方法，其特征在于，步骤e)包括如下步骤：

6.根据权利要求1所述的基于多尺度特征融合的细胞核实例分割方法，其特征在于：步骤f)中利用skimage包中的peak_local_max()函数寻找特征图局部峰值，得到细胞核关键点图

7.根据权利要求1所述的基于多尺度特征融合的细胞核实例分割方法，其特征在于，步骤g)包括如下步骤：

8.根据权利要求1所述的基于多尺度特征融合的细胞核实例分割方法，其特征在于，步骤h)包括如下步骤：

9.根据权利要求1所述的基于多尺度特征融合的细胞核实例分割方法，其特征在于：步骤i)中通过公式ltotal＝lp+ledge+lm计算得到总损失函数ltotal，式中lp为均方误差损失函数，热力图标签为均方误差损失函数lp的标签图，特征图为均方误差损失函数lp的原图，ledge为二元交叉熵损失函数，特征图为二元交叉熵损失函数ledge的原图，细胞核边缘轮廓标签为二元交叉熵损失函数ledge的标签图，lm为交叉熵损失函数，特征图为交叉熵损失函数lm的原图，第i张细胞核图像yi对应的标签gi为交叉熵损失函数lm的标签图。

技术总结
一种基于多尺度特征融合的细胞核实例分割方法，涉及医学图像处理领域，点特征能够精确定位细胞核的位置，线特征能够描述细胞核的形状和轮廓，而面特征则提供了对细胞核区域的整体描述，综合利用了点、线和面的特征，实现了对细胞核的全面描述，增加了网络的表征能力。首先提出一个掩码优化算法模块有效的合并点特征与边界特征。其次我们引入了一种后处理方法，结合目标信息和细胞核掩码图像生成一个实例分割图像。所提出基于多尺度特征融合的细胞核实例分割方法中每个组件的有效性。

技术研发人员：周书旺,鲁从健,舒明雷,邓邱伟,刘照阳,孙宏霞,田云龙,张宏宽
受保护的技术使用者：齐鲁工业大学（山东省科学院）
技术研发日：
技术公布日：2024/12/5