一种计算机视觉和深度学习的眼底疾病可视化分析方法

1.本发明属于深度学习模型可视化技术，尤其涉及一种基于计算机视觉和深度学习的眼底疾病可视化分析方法。利用类别激活图映射的方法结合统计学算法对模型的决策过程进行解释和分析。


背景技术：

2.临床研究表明，眼底的特异性改变会对人们的生活造成不可避免的影响，严重的视网膜病变甚至会导致失明，因此定期对眼底病变情况进行检测和诊断对于患者的及时发现和治疗有着重要意义。随着时代的发展，计算机视觉及深度学习技术的出现为眼底疾病的诊断和治疗提供了新的技术支持。
3.但由于深度学习模型的决策依据缺乏可解释性，因此为了更好的对结果进分析，需要对模型进行可视化处理。对于模型的可视化算法可以总结为过程可视化和结果可视化两大类。过程可视化是对学习过程中所提取的每张特征图进行可视化显示，用以评估模型的特征提取能力。结果可视化是在模型输出结果前对模型进行可视化处理，提取出模型做出决策的类别激活映射图或概率分布图等，用以分析模型的决策过程。因此模型的可视化为深度模型的可解释性提供了重要支持。
4.模型的可视化中最为经典的可视化方案是基于cam(class activationmapping)的可视化方法。它提出对一个深层的卷积神经网络而言，通过多次卷积和池化以后，它的最后一层卷积层包含了最丰富的空间和语义信息。所以说，要让卷积神经网络对其分类结果给出一个合理解释，必须要充分利用好最后一个卷积层。
5.然而，单纯的可视化处理只能够从类别激活图大致的找到模型对于图像当中的某些区域的关注程度，如果需要进一步获取图像当中的关键性信息或是对于其中的规律进行归纳总结就需要用到数学的方法。对于不同领域的图像而言，需要找到图像当中最为重要的特征进行统计分析，利用数据之间的关系来推导出存在于图像中的一般性规律。


技术实现要素：

6.本发明采用的技术方案为一种计算机视觉和深度学习的眼底疾病可视化分析方法，该方法与现有的可视化算法相比考虑了更多层次的图像语义信息，同时可将可视化结果与输入图像进行协同分析，利用统计学的方法对关键特征进行统计和归纳，找到模型做出决策所依赖的病理学特征。该方法包括如下步骤：
7.步骤1，建立眼底病灶标注图像数据库。
8.对医学眼底疾病图像中的病灶以类别为单位进行人工标注，然后对带有病灶类别信息的标注结果进行组合，获得能够完整描述原始图像病灶信息的眼底病灶标注图像数据库。
9.步骤2，模型关注区域可视化处理。
10.以眼底病灶标注图像数据库为输入对眼底疾病图像分析模型进行多层次可视化
处理，类别激活图的生成是基于cam的思想，通过不同通道不同位置的特征值的线性组合得到的，改进之处在于：不仅不同特征图的权重不同，同一特征图内不同位置特征值的权重也不同。具体来说，设最后卷积层的输出t维特征图为t
t
，该特征图中每个像素对应的权重设为为表示特定空间位置 (i,j)处的对于最终第x类的重要性。则由此获得的第x类对应的激活图计算公式为：
[0011][0012]
与此同时，在保留相对位置靠后的深层特征图输出权重的同时，还保留相对位置靠前的浅层特征图输出权重。这样就可以利用深浅层次的类别激活映射图更完整的显示模型在决策过程中对眼底疾病标注图像当中不同区域的关注程度。
[0013]
进行模型关注区域可视化处理的步骤如下：
[0014]
步骤2.1，选择一个可用于眼底疾病图像分析的深度学习模型对眼底疾病图像进行训练，得到模型的输出权重。
[0015]
步骤2.2，加载得到的模型输出权重，利用对应的眼底病灶标注图像对模型进行多层次可视化处理，得到不同层次的类别激活映射图(热力图)。
[0016]
步骤3，可视化区域叠加。
[0017]
对可视化处理生成的多层次类别激活映射图进行二值化处理，得到模型的主要关注区域，再将其作为掩膜与眼底病灶标注图像进行叠加，保留图像中具有更高关注度的病灶信息。
[0018]
进行可视化区域叠加的步骤如下：
[0019]
步骤3.1，对不同层次的彩色热力图按照rgb三个分量的选定加权指数进行灰度化处理，然后对得到的灰度化图像选取统一的阈值进行二值化处理，得到不同层次下模型的主要关注区域。
[0020]
步骤3.2，将包含不同层次下模型主要关注区域的二值化图像依次与其对应的眼底病灶标注图像进行图像与操作，得到仅保留模型主要关注区域内病灶信息的区域化图像。
[0021]
步骤4，区域化图像特征筛选与统计。
[0022]
为了将模型的决策依据由区域性特征关联到病理性特征，就需要结合眼底的组织结构对不同层次区域化图像中的病灶细节信息进行筛选，寻找其中可能与疾病的产生和发展相关的特征。分别以图像和图像中的具体病灶为单位对选择的特征进行数据统计。
[0023]
进行区域化图像特征筛选与统计的步骤如下：
[0024]
步骤4.1，结合眼底中的主要组织结构以及病灶本身的特征，对可能与疾病的产生和发展相关的特征做出假设。例如：病灶的形态与面积，病灶与黄斑之间的距离，病灶与主干血管之间的距离等。
[0025]
步骤4.2，将区域化图像根据眼底疾病图像分析模型的输出结果进行分类整理，便于后续的统计分析。
[0026]
步骤4.3，以各个类别中的图像为单位，统计各个图像中筛选特征的各项数据。
[0027]
步骤4.4，以图像中的病灶类型为单位，统计各个类别中所有图像相同类型病灶的筛选特征的各项数据。
[0028]
步骤5，统计数据关联分析。
[0029]
对统计得到的各组数据进行相关分析、均值-方差分析、聚类分析等，并结合模型输入的眼底病灶图像以及相关医学知识进一步找到模型做出决策所依赖的病理学特征。
[0030]
进行统计数据关联分析的步骤如下：
[0031]
步骤5.1，对选定特征的统计数据利用相关分析的方法对数据间的关系进行分析，从而衡量选定的特征之间的相关密切程度以及模型关注区域内的病灶和关注区域外的病灶数据之间的相关性和差异性。
[0032]
步骤5.2，对选定特征的统计数据求取其方差与均值，从而衡量选定特征的普遍性表现和组间数据的离散程度。
[0033]
步骤5.3，将选定特征的统计数据使用聚类算法分到不同的类或者簇，同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性，从而衡量不同组别的数据之间的差异性。
[0034]
综上所述，本发明利用神经网络的多层次可视化算法对眼底疾病进行可视化处理，获得多层次的类别激活映射图，并将其与模型的输入图像进行协同分析，从而进一步获得模型做出决策所依赖的病理学特征。与现有技术相比，本发明具有以下优点：
[0035]
(1)本方法与现有的可视化算法相比考虑了更多层次的图像语义信息，通过将深层与浅层信息相结合，能够更全面的对模型的决策过程进行解释。
[0036]
(2)本方法实现了可视化结果与输入图像的协同分析，并利用统计学的方法对关键特征进行了统计和归纳，将计算机视觉、医学与统计学相结合，极大的提高了结果的可靠性与直观性，可应用性更为广泛。
[0037]
(3)本发明筛选出的病灶特征以及统计分析方法也为眼底病变的机理研究提供了新的研究对象和分析方法。
附图说明
[0038]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。以下所描述的附图仅是本发明中具有代表性的一些实施例，但本发明的算法在相关医学图像分析任务中具有普遍适用性。
[0039]
图1为本发明提出的眼底疾病可视化及分析方法的流程示意图；
[0040]
图2为本发明提供的实施例中病灶标注图像的样例；
[0041]
图3为本发明提供的实施例中模型决策过程中各个层次的输出类别激活图样例；
[0042]
图4为本发明提供的实施例中以denseblock3的输出为例的类别激活图的灰度化处理图像样例。
[0043]
图5为本发明提供的实施例中灰度图像使用0.5的阈值进行二值化处理后的掩膜图像样例。
[0044]
图6为本发明提供的实施例中掩模图像与原始的病灶标注图像进行叠加后的图像样例。
具体实施方式
[0045]
实施方式。
[0046]
实施方式的流程图如图1所示，包括以下步骤：
[0047]
步骤s10,建立眼底病灶标注图像数据库；
[0048]
步骤s20，模型关注区域可视化处理；
[0049]
步骤s30，可视化区域叠加；
[0050]
步骤s40，区域化图像特征筛选与统计；
[0051]
步骤s50，统计数据关联分析。
[0052]
实施方式的模型关注区域可视化处理步骤s20还包括以下步骤：
[0053]
步骤s200，选择一个可用于眼底疾病图像分析的深度学习模型对眼底疾病图像进行训练，得到模型的输出权重。
[0054]
步骤s210，加载得到的模型输出权重，利用对应的眼底病灶标注图像对模型进行多层次可视化处理，得到不同层次的类别激活映射图(热力图)。
[0055]
实施方式的可视化区域叠加步骤s30还包括以下步骤：
[0056]
步骤s300，对不同层次的彩色热力图按照rgb三个分量的选定加权指数进行灰度化处理，然后对得到的灰度化图像选取统一的阈值进行二值化处理，得到不同层次下模型的主要关注区域。
[0057]
步骤s310，将包含不同层次下模型主要关注区域的二值化图像依次与其对应的眼底病灶标注图像进行图像与操作，得到仅保留模型主要关注区域内病灶信息的区域化图像。
[0058]
实施方式的区域化图像特征筛选与统计步骤s40还包括以下步骤：
[0059]
步骤s400，结合眼底中的主要组织结构以及病灶本身的特征，对可能与疾病的产生和发展相关的特征做出假设。例如：病灶的形态与面积，病灶与黄斑之间的距离，病灶与主干血管之间的距离等。
[0060]
步骤s410，将区域化图像根据眼底疾病图像分析模型的输出结果进行分类整理，便于后续的统计分析。
[0061]
步骤s420，以各个类别中的图像为单位，统计各个图像中筛选特征的各项数据。
[0062]
步骤s430，以图像中的病灶类型为单位，统计各个类别中所有图像相同类型病灶的筛选特征的各项数据。
[0063]
实施方式的统计数据关联分析步骤s50还包括以下步骤：
[0064]
步骤s500，对选定特征的统计数据利用相关分析的方法对数据间的关系进行分析，从而衡量选定的特征之间的相关密切程度以及模型关注区域内的病灶和关注区域外的病灶数据之间的相关性和差异性。
[0065]
步骤s510，对选定特征的统计数据求取其方差与均值，从而衡量选定特征的普遍性表现和组间数据的离散程度。
[0066]
步骤s520，将选定特征的统计数据使用聚类算法分到不同的类或者簇，同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性，从而衡量不同组别的数据之间的差异性。
[0067]
实施例
[0068]
图1示出了以糖尿病性视网膜病变为例的基于计算机视觉和深度学习的眼底疾病可视化及分析方法的流程示意图。主要分为模型关注区域可视化和数据统计分析两大部
分。
[0069]
实施例采用基于densenet的图像分类模型以及某医院的病人眼底图像，用于分类的图像文件大小一般在300k左右。
[0070]
首先，根据步骤一，利用labelimg软件对医学眼底疾病图像中的病灶以类别为单位进行人工标注并加以组合，获得的病灶标注图像如图2所示。
[0071]
根据步骤二，利用基于cam的改进算法对densenet的4个denseblock 结构的输出进行可视化处理，获得多层次的卷积层输出权重，通过加权求和得到模型决策过程中各个层次的输出类别激活图，如图3所示，其中(a)为根据denseblock1输出的类别激活图，(b)为根据denseblock2输出的类别激活图，(c)为根据denseblock3输出的类别激活图，(d)为根据denseblock4 输出的类别激活图。
[0072]
根据步骤三，以denseblock3输出的类别激活图为例，先将其按照r* 0.3+g*0.59+b*0.11的加权指数转化为灰度图像，如图4所示；然后选取阈值为0.5对灰度图像进行二值化处理，获得模型的主要关注区域作为掩膜，如图5所示；接着将掩模图像与病灶标注图像进行图像与操作，进一步得到仅保留模型主要关注区域内病灶信息的区域化图像，如图6所示。
[0073]
根据步骤四，分别以病灶为单位和以图像为单位对病灶标注图、区域化图像以及模型做出正确预测的图像进行病灶面积与病灶距黄斑距离的数值统计，统计表示例如表1和表2所示。
[0074]
根据步骤五，对本实施例中统计的数据分别进行相关分析、均值-方差分析、聚类分析等统计学分析，得到如下结论：
[0075]
1、对于病灶标注图中的四种病灶而言，关注区域内病灶平均面积越大，越倾向于判定为有进展。
[0076]
2、随着病情的发展，微动脉瘤的数量会明显增多，其数量可以作为有无进展的评价指标之一。
[0077]
3、图像当中包含的病灶种类越多，越倾向于判定为有进展。
[0078]
表1初始病灶标注图病灶面积与病灶距黄斑距离的数值统计表(以病灶为单位)
[0079]
图像名称病灶名称病灶面积病灶距黄斑距离001.jpgex66117.1163951001.jpgex32395.84492683001.jpgex9955.08402672001.jpgex45991.33044399001.jpgma88236.6854453001.jpgma35293.8013785001.jpghe285195.6406144001.jpghe500153.5219854001.jpghe195227.3043114001.jpgse383102.4530711
[0080]
表2初始病灶标注图病灶面积与病灶距黄斑距离的数值统计表(以图像为单位)
[0081][0082]
最后应说明的是：上述实施例仅用于说明本发明的技术方案，尽管参照前述实施例对本发明进行了详细的说明，但这并不表明本发明仅局限于此：其使用者依然可以将前述实施例所记载的技术方案进行修改应用于其他网络的可视化输出，或者对其中部分流程进行删减和增加以匹配更为复杂更具针对性的任务，也可以在此基础上进行算法上的进一步改进和优化；但值得注意的是本发明的基本框架和结构并不会随着这些修改、替换和创新脱离本发明各实施例技术方案的范围。

技术特征：
1.一种计算机视觉和深度学习的眼底疾病可视化分析方法，其特征在于：该方法包括如下步骤：步骤1，建立眼底病灶标注图像数据库；对医学眼底疾病图像中的病灶以类别为单位进行人工标注，然后对带有病灶类别信息的标注结果进行组合，获得能够完整描述原始图像病灶信息的眼底病灶标注图像数据库；步骤2，模型关注区域可视化处理；以眼底病灶标注图像数据库为输入对眼底疾病图像分析模型进行多层次可视化处理，设最后卷积层的输出t维特征图为t
t
，该特征图中每个像素对应的权重设为表示特定空间位置(i,j)处的对于最终第x类的重要性；则由此获得的第x类对应的激活图计算公式为：在保留相对位置靠后的深层特征图输出权重的同时，还保留相对位置靠前的浅层特征图输出权重；利用深浅层次的类别激活映射图更完整的显示模型在决策过程中对眼底疾病标注图像当中不同区域的关注程度；步骤3，可视化区域叠加；对可视化处理生成的多层次类别激活映射图进行二值化处理，得到模型的主要关注区域，再将其作为掩膜与眼底病灶标注图像进行叠加，保留图像中具有更高关注度的病灶信息；步骤4，区域化图像特征筛选与统计；为了将模型的决策依据由区域性特征关联到病理性特征，就需要结合眼底的组织结构对不同层次区域化图像中的病灶细节信息进行筛选，寻找其中可能与疾病的产生和发展相关的特征；分别以图像和图像中的具体病灶为单位对选择的特征进行数据统计；步骤5，统计数据关联分析；对统计得到的各组数据进行相关分析、均值-方差分析、聚类分析，并结合模型输入的眼底病灶图像以及相关医学知识进一步找到模型做出决策所依赖的病理学特征。2.根据权利要求1所述的一种计算机视觉和深度学习的眼底疾病可视化分析方法，其特征在于：进行模型关注区域可视化处理的步骤如下：步骤2.1，选择一个可用于眼底疾病图像分析的深度学习模型对眼底疾病图像进行训练，得到模型的输出权重；步骤2.2，加载得到的模型输出权重，利用对应的眼底病灶标注图像对模型进行多层次可视化处理，得到不同层次的类别激活映射图。3.根据权利要求1所述的一种计算机视觉和深度学习的眼底疾病可视化分析方法，其特征在于：进行可视化区域叠加的步骤如下：步骤3.1，对不同层次的彩色热力图按照rgb三个分量的选定加权指数进行灰度化处理，然后对得到的灰度化图像选取统一的阈值进行二值化处理，得到不同层次下模型的主要关注区域；步骤3.2，将包含不同层次下模型主要关注区域的二值化图像依次与其对应的眼底病
灶标注图像进行图像与操作，得到仅保留模型关注区域内病灶信息的区域化图像。4.根据权利要求1所述的一种计算机视觉和深度学习的眼底疾病可视化分析方法，其特征在于：进行区域化图像特征筛选与统计的步骤如下：步骤4.1，结合眼底中的主要组织结构以及病灶本身的特征，对可能与疾病的产生和发展相关的特征做出假设；例如：病灶的形态与面积，病灶与黄斑之间的距离，病灶与主干血管之间的距离等；步骤4.2，将区域化图像根据眼底疾病图像分析模型的输出结果进行分类整理，便于后续的统计分析；步骤4.3，以各个类别中的图像为单位，统计各个图像中筛选特征的各项数据；步骤4.4，以图像中的病灶类型为单位，统计各个类别中所有图像相同类型病灶的筛选特征的各项数据。5.根据权利要求1所述的一种计算机视觉和深度学习的眼底疾病可视化分析方法，其特征在于：进行统计数据关联分析的步骤如下：步骤5.1，对选定特征的统计数据利用相关分析的方法对数据间的关系进行分析，从而衡量选定的特征之间的相关密切程度以及模型关注区域内的病灶和关注区域外的病灶数据之间的相关性和差异性；步骤5.2，对选定特征的统计数据求取其方差与均值，从而衡量选定特征的普遍性表现和组间数据的离散程度；步骤5.3，将选定特征的统计数据使用聚类算法分到不同的类或者簇，同一个簇中的对象有相似性，而不同簇间的对象有很大的相异性，从而衡量不同组别的数据之间的差异性。

技术总结
本发明公开了一种基于计算机视觉和深度学习的眼底疾病可视化分析方法，包括：对现有眼底疾病模型的结果进行可视化处理，标记支持模型做出最终决策的重点区域；将可视化算法生成的类别激活图与原始眼底图像进行叠加，以对模型关注区域内的图像信息进行筛选；根据筛选结果进一步对眼底图像当中的特征利用统计学算法进行分析，将病灶特征与模型得到的眼底疾病分析结果相关联。与现有方法相比，本发明所设计的眼底疾病可视化方法兼顾网络的深层与浅层输出，从而能够更加全面地分析模型的决策过程，同时本发明也为眼底病变的机理研究提供了新的分析方法。了新的分析方法。了新的分析方法。


技术研发人员：李煜 朱美龙 孙光民 陈佳阳 李侨宇 汤长新
受保护的技术使用者：北京工业大学
技术研发日：2021.08.27
技术公布日：2022/3/8