一种适用于模具监视器的图像处理方法及装置

1.本发明涉及图像处理技术领域，特别是涉及一种适用于模具监视器的图像处理方法及装置。


背景技术：

2.在塑胶制造行业和金属压铸行业，注塑机能否稳定高效的运行直接决定了生产产值与产品质量的好坏与否。由于车间情况较为复杂，尽管注塑机上采用了诸如低压保护、顶针报警等模具保护措施，仍然无法较好的避免压模现象，直接导致模具需要返修，不仅带来了巨额修理费用等额外支出，还带来了工时及产量上的损失，可能导致交货不及时进而丢掉客户。因此为了避免注塑机生产过程中的压模现象，不少厂家采购了模具监视器系统，通过安装在注塑机上的摄像头采集图片，利用监视器中先进的图像处理算法对图片进行增强、锐化、对比等图像处理操作，检测产品是否正常成型或是正常取出，给出比对结果，以代替人眼实时的对模具及产品进行监视，从而有效地提高了企业智能生产、自动化生产水平，降低了人力成本，提高了企业的竞争力。
3.现有的模具监视器算法可简单分为传统算法和深度学习算法两类。其中，深度学习算法虽然精度极高，但其前期的算法训练阶段需要大量的有效数据，在高性能的计算机或服务器中对算法模型进行预训练，其算法部署存在价格高、数据需求量大、可迁移性弱及可解释性弱的缺点，在实际的生产部署中更多的是以一种尝鲜、辅助的地位而存在。而传统算法在模具监视领域主要存在两种：
4.1)基于图像的结构特征进行图像的相似度匹配：采集多幅模板图像，依次与当前图像进行图像的结构特征进行对比，若其中一幅模板图像的结构特征与当前图像的结构特征基本一致(通过设定结构相似度阈值进行一致性判定)，则判定当前图像为ok，否则判定为ng。这种方法的缺点在于：使用较多的参数，不利于非研发人员进行现场调试及维护；使用较多的图像预处理方法(过曝，欠曝，轮廓，直方图拉伸，腐蚀，膨胀等)，图像算法的单次运行时间过长，难以实现实时性。
5.2)基于单个像素进行图像相似度匹配：采集多幅模板图像，依次与当前图像进行图像的所有像素进行逐一对比。若其中一幅模板图像的任意一个像素的像素值与当前图像对应像素的像素值基本一致(通过设置上下浮动阈值进行一致性判定)，则判定当前图像为ok，否则判定为ng。这种方法的缺点在于：对环境光线极为敏感，易导致误报。


技术实现要素：

6.为克服上述现有技术存在的不足，本发明之目的在于提供一种适用于模具监视器的图像处理方法及装置，以解决环境光照对采集图片的影响，实现一种可自适应的、高性能的、实时性强的、误报及漏检率低的模具监视器算法。
7.为达上述目的，本发明提出一种适用于模具监视器的图像处理方法，包括如下步骤：
8.步骤s1，采用红外相机采集空模穴的模板图像以及满模穴的对比图像；
9.步骤s2，对采集获得的模板图像与对比图像进行预处理；
10.步骤s3，提取模板图像的m个roi区域，同时提取对比图像对应的m个roi区域，采用自适应的策略分析模板图像每一个roi区域，进行像素集合的相关参数的自动最优化计算，确定每个roi区域的最优像素区间的个数以及对应每个像素区间的加权系数，并获得模板图像和对比图像对应roi区域的差异值作为相应roi区域的差异标准阈值；
11.步骤s4，利用红外相机获取源图像，并对获得的源图像进行预处理；
12.步骤s5，分析源图像每一个roi的像素分布区间，统计各个roi的像素分布；
13.步骤s6，对于每一个模板图像roi所对应的源图像的roi，计算其相同像素区间的区间距离，并获得源图像单个roi的差异值，根据源图像单个roi的差异值与步骤s3获得的对应的差异标准阈值判定当前roi区域是否缺陷区域，进而判定源图像是否存在缺陷。
14.优选地，获取模板图像时，根据需要存储多幅模板图像，并基于最小二乘法对所有模板图像进行拟合计算，然后将拟合结果与所有模板图像逐一对比，选取差异最小的模板图像作为最终模板图像。
15.优选地，步骤s3进一步包括：
16.步骤s300，提取模板图像的m个roi区域；
17.步骤s301，对模板图像的每一个roi区域图像中的连续像素区间进行合并，初步确定每个roi区域的多种像素分布区间分布，并确定每个像素分布区间的像素个数(image_template[m][i][n])；
[0018]
步骤s302，对于模板图像的每一个roi区域的每一种像素区间分布，根据对比图像中相应的roi区域的像素分布区间计算模板图像该roi区域中各个像素分布区间的加权值；
[0019]
步骤s303，利用得到的第m个roi区域的各像素区间的加权值，获得当第m个roi区域的区间个数为n[i]时，该第m个roi的加权平方差(se[m][i])；
[0020]
步骤s304，通过比较i个se[m][i]中的最大值，得出该roi区域的最优像素区间个数(n[m])以及对应的加权系数组(coeff[m][n])；
[0021]
步骤s305，根据得出的每一个roi区域的最优像素区间个数(n[m])以及对应的加权系数组(coeff[m][n])，对于模板图像每一个roi所对应的对比图像roi，计算其相同像素区间的区间距离，并根据加权系数对同一roi区域加权后像素区间距离进行求和得到对比图像单个roi的差异值作为该roi区域的差异标准阈值。
[0022]
优选地，于步骤s301中，若roi区域为矩形框，则统计roi像素分布时，遍历所有矩形框内的像素，然后根据当前像素区间分布的像素分布区间个数统计每个像素分布区间的像素分布；若roi区域为非矩形框，则先绘制出该形状的外接矩形框，并对外界矩形框内的所有像素进行遍历，仅统计roi区域的像素分布，然后再根据当前像素区间分布的像素分布区间个数统计每个像素分布区间的像素分布。
[0023]
优选地，于步骤s305中，相同像素区间的区间距离的计算公式如下
[0024][0025]
其中，distance[m,n]表示关于对比图像的第m个roi与模板图像的第m个roi，两者在第n个像素区间的距离，image_template[m][n]表示模板图像中第m个roi区域的第n个像
素区间的像素个数，image_contrast[m][n]表示对比图像中第m个roi区域的第n个像素区间的像素个数。
[0026]
优选地，所述对比图像单个roi的差异标准阈值的计算公式为：
[0027][0028]
其中，value_threshould
[m]
表示对比图像与模板图像中第m个roi区域的差异值，作为差异标准阈值，coeff[m][n]表示模板图像的第m个roi区域中，第n个像素区间的加权系数，n[m]表示模板图像的第m个roi中，像素区间的个数。
[0029]
优选地，步骤s6进一步包括：
[0030]
步骤s600，对于每一个模板图像roi所对应的源图像roi，计算其相同像素区间的区间距离；
[0031]
步骤s601，根据该roi区域内每个像素区间的加权系数，对该roi区域加权后像素区间距离进行求和，获得源图像单个roi的差异值；
[0032]
步骤s602，将获得的源图像的各roi区域的差异值与步骤s3得到的对应的差异标准阈值进行比较，若大于，则判定当前roi区域为缺陷区域，该源图像存在缺陷,若源图像的所有roi的差异值均小于对应的差异标准阈值，则判定该源图像不存在缺陷。
[0033]
优选地，于步骤s602中，若roi个数为1，则将模板图像的roi与源图像的roi直接进行比较即可；若roi个数大于等于1，则需对模板图片及源图像上相同序号的roi区域进行比较。
[0034]
优选地，于步骤s6中，根据当前源图片中，将其最大的roi差异值与差异标准阈值进行比对，若大于差异标准阈值的1/3，则在判定该图片不存在缺陷的同时，自动保存当前源图像为新的模板图像。
[0035]
为达到上述目的，本发明还提供一种适用于模具监视器的图像处理装置，包括：
[0036]
图像采集单元，用于采用红外相机采集空模穴的模板图像、满模穴的对比图像以及待检测的源图像；
[0037]
图像预处理单元，用于对采集获得的模板图像、对比图像、源图像进行预处理；
[0038]
自适应分析单元，用于提取模板图像的m个roi区域，同时提取对比图像对应的m个roi区域，采用自适应的策略分析模板图像每一个roi区域，进行像素集合的相关参数的自动最优化计算，确定每个roi区域的最优像素区间的个数以及对应每个像素区间的加权系数，并获得模板图像和对比图像对应roi区域的差异值作为相应roi区域的差异标准阈值；
[0039]
缺陷检测单元，用于分析源图像每一个roi的像素分布区间，统计各个roi的像素分布，对每一个模板图像roi所对应的源图像的roi，计算其相同像素区间的区间距离，并获得源图像单个roi的差异值，根据源图像单个roi的差异值与所述自适应分析单元获得的对应的差异标准阈值判定当前roi区域是否缺陷区域，进而判定源图像是否存在缺陷。
[0040]
与现有技术相比，本发明具有如下优点：
[0041]
1、无需设置任何参数，即可实现一种可自适应的、高性能的、实时性强的、误报及漏检率低的适用于模具监视器的图像处理方法
[0042]
2、解决了环境光照对采集图片的影响。
附图说明
[0043]
图1为本发明一种适用于模具监视器的图像处理方法的步骤流程图；
[0044]
图2为本发明一种适用于模具监视器的图像处理装置的系统架构图；
[0045]
图3为本发明实施例中适用于模具监视器的图像处理方法的总体流程图；
[0046]
图4为本发明具体实施例中自适应分析策略的流程图；
[0047]
图5为本发明实施例中模具监视器的图像处理方法的细部流程图。
具体实施方式
[0048]
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
[0049]
图1为本发明一种适用于模具监视器的图像处理方法的步骤流程图。如图1所示，本发明一种适用于模具监视器的图像处理方法，包括如下步骤：
[0050]
步骤s1，采用红外相机采集相机空模穴的模板图像以及满模穴的对比图像。
[0051]
具体的，步骤s1进一步包括：
[0052]
步骤s100，调整红外相机位置及镜头焦距、相机曝光值及增益值，并调整红外灯的位置。
[0053]
在本发明具体实施例中，可以通过为相机镜头安装红外滤光片得到红外相机，然后调整该相机的位置及镜头焦距，并调整红外灯的位置，获取清晰的图像，同时.调整该相机的曝光值及增益值，以避免采集的图片出现过曝及欠曝现象
[0054]
步骤s101，利用该红外相机采集空模穴的模板图像，记作image_template。
[0055]
优选地，获取模板图像时，可根据需要存储多幅模板图像，并基于最小二乘法对所有模板图像进行拟合计算，然后将拟合结果与所有模板图像逐一对比，选取差异最小的模板图像作为最终模板图像。
[0056]
步骤s102，通过相机获取满模穴的对比图像，记作image_contrast。
[0057]
步骤s2，对采集获得的模板图像与对比图像进行预处理。
[0058]
在本发明具体实施例中，利用图像增强技术中直方图均衡化的形式对采集到的模板图像与对比图像进行预处理，具体地，对图像通过灰度映射，从而使转换后的图像在每一灰度级上都有近似相同的像素点数，使灰度动态范围偏小的图像转变为对比度较高、图像灰度动态范围大、信息更加明确的图像，这样，通过直方图均衡化的形式对采集到的图片的预处理，基本排除了环境光线(照明用灯光，自然光散射)的干扰，保障了图片成像质量的稳定性。
[0059]
步骤s3，提取模板图像的m个roi(region of interest，感兴趣区域)区域同时提取对比图像对应的m个roi区域，采用自适应的策略分析模板图像每一个roi区域，进行像素集合的相关参数的自动最优化计算，确定每个roi区域的最优像素区间的个数以及对应每个像素区间的加权系数，并获得模板图像和对比图像对应roi区域的差异值。在本发明中，模板图像与对比图像的roi区域的大小、形状和个数是完全一致的，因此提取了模板图像的roi，即可确定对比图像的roi。
[0060]
具体地，步骤s3进一步包括：
[0061]
步骤s300，提取模板图像的m个roi区域。
[0062]
在本发明具体实施例中，可根据需要绘制任意形状、任意个数的roi，本发明不以此为限。
[0063]
步骤s301，对模板图像的每一个roi区域图像中的连续像素区间进行合并，初步确定每个roi区域的多种像素区间分布，并确定每个像素分布区间的像素个数image_template[m][i][n]。
[0064]
对于灰度级分布在0-255的二值化图像而言，将第m(m≤m)个roi中的图像中连续的像素区间进行合并，合并后的像素区间个数记为n，在本发明具体实施例中，采用均分的策略(均分策略指的是对该256个值进行平均性的区域划分)，n[m][i]∈{8,16,32,64,128}，初步确定第m个roi区域共有5种像素区间分布，例如n[3][1]表示对于第3个roi的第一种像素区间分布，其像素分布区间的个数为8，则这8个像素分布区间为：
[0065]
[0,31],[32,63],[64,95],[96,127],[128,159],[160,191],[192,223],[224,255]。
[0066]
每个roi区域都有一个最优的像素分布区间个数，可视为是该roi的属性，本发明则需从该5种像素区间分布中选择最优的像素分布区间个数。当然像素区间分布并不限制于5种，本发明仅以此示例。
[0067]
对于每种像素区间分布，统计每种像素区间分布的每个像素分布区间的像素个数image_template[m][i][n]，若roi区域为矩形框，则统计roi像素分布时，遍历所有矩形框内的像素，然后根据当前像素区间分布的像素分布区间个数统计每个像素分布区间的像素分布，即像素个数image_template[m][i][n]即可；若roi区域为非矩形框，则需先绘制出该形状的外接矩形框，并对外界矩形框内的所有像素进行遍历，仅统计roi区域的像素分布，然后再根据当前像素区间分布的像素分布区间个数统计每个像素分布区间的像素分布。也就是说，统计roi像素分布时，对于roi区域为矩形框内的点直接统计即可，而对于roi区域为非矩形框的情况，则需要先找出外接矩形，再对该矩形内的每个点做“是否在该矩形内”的判断，若在则统计，不在则不统计，统计过后再进行像素分布区间的划分，并计算其每个像素分布区间的像素个数image_template[m][i][n]。
[0068]
步骤s302，对于模板图像的每一个roi区域的每一种像素区间分布，根据对比图像中相应的roi区域的像素分布区间计算模板图像该roi区域中各个像素分布区间的加权值。
[0069]
这里需说明的是，对于对比图像中相应的roi区域的像素分布区间的确定与模板图像类似，在此不予赘述。
[0070]
具体地，对于n[m][i]，选取其中的第i个值，对其第n(n≤n)个像素区间的加权值coeff[m,i,n]进行计算，其计算公式为
[0071][0072]
其中，coeff[m,i,n]表示第m个roi区域中，当选取n[i]为像素区间个数时，第n个像素区间的加权值，例如在本实施例中，coeff[2][3][4]表示对于第2个roi，其像素区间为个数为32时，第4个像素区间(即[24,31])的加权系数；image_contrast[m][i][n]表示在对比图像的第m个roi区域中，当选取n[i]为像素区间个数时，第n个像素区间的像素个数；
image_template[m][i][n]表示在模板图像的第m个roi区域中，当选取n[i]为像素区间个数时，第n个像素区间的像素个数。
[0073]
步骤s303，利用得到的第m个roi区域的各像素区间的加权值，获得当第m个roi区域的区间个数为n[i]时，该第m个roi的加权平方差se[m][i]。在本发明具体实施例中，该加权平方差的计算公式如下：
[0074][0075]
步骤s304，通过比较i个se[m][i]中的最大值，得出该roi区域的最优像素区间个数n[m]以及对应的加权系数组coeff[m][n]。
[0076]
步骤s305，根据得出的每一个roi区域的最优像素区间个数n[m]以及对应的加权系数组coeff[m][n]，对于模板图像每一个roi所对应的对比图像roi，计算其相同像素区间的区间距离，并根据加权系数对同一roi区域加权后像素区间距离进行求和得到对比图像单个roi的差异值作为该roi区域的差异标准阈值。
[0077]
在本发明具体实施例中，对于每一个模板图像roi所对应的对比图像roi，计算其相同像素区间的区间距离，其计算公式为
[0078][0079]
其中，distance[m,n]表示关于对比图像的第m个roi与模板图像的第m个roi，两者在第n个像素区间的距离，image_template[m][n]表示模板图像中第m个roi区域的第n个像素区间的像素个数，image_contrast[m][n]表示对比图像中第m个roi区域的第n个像素区间的像素个数。
[0080]
根据加权系数，对同一roi区域加权后像素区间距离进行求和，获得对比图像单个roi的差异值,其计算公式为：
[0081][0082]
其中，value_threshould
[m]
表示对比图像与模板图像中第m个roi区域的差异值，作为差异标准阈值，coeff[m][n]表示模板图像的第m个roi区域中，第n个像素区间的加权系数，n[m]表示第m个roi中，像素区间的个数。
[0083]
步骤s4，利用红外相机获取源图像，并对获得的源图像进行预处理。
[0084]
在本发明具体实施例中，对于源图像的获取及预处理与前述的模板图像及对比图像的处理相同，在此不予赘述。
[0085]
步骤s5，分析源图像每一个roi的像素分布区间，统计各个roi的像素分布。
[0086]
在本发明具体实施例中，对于源图像，根据步骤s3模板图像确定的每个roi区域的最优像素区间个数n[m]，确定源图像每个roi的像素分布区间，然后统计各个像素分布区间的像素分布。
[0087]
步骤s6，对于每一个模板图像roi所对应的源图像的roi，计算其相同像素区间的区间距离，并获得源图像单个roi的差异值，根据源图像单个roi的差异值与步骤s3获得的对应的差异标准阈值判定当前roi区域是否缺陷区域，进而判定源图像是否存在缺陷。
[0088]
具体地，步骤s6进一步包括：
[0089]
步骤s600，对于每一个模板图像roi所对应的源图像roi，计算其相同像素区间的区间距离。其计算公式如下：
[0090][0091]
步骤s601，根据该roi区域内每个像素区间的加权系数，对该roi区域加权后像素区间距离进行求和，获得源图像单个roi的差异值,其计算公式如下：
[0092][0093]
其中，distance[m,n]表示源图像的第m个roi与第k幅模板图像的第m个roi，两者在第n个像素区间的距离，value[m]表示源图像与模板图像中第m个roi区域的差异值，coeff[m][n]表示第m个roi区域中，第n个像素区间的加权系数，image_src[m][n]表示源图像中，第m个roi区域的第n个像素区间的像素个数，image_template[m][n]表示模板图像中，第m个roi区域的第n个像素区间的像素个数，n[m]表示第m个roi中，像素区间的个数。
[0094]
步骤s602，将获得的源图像的各roi区域的差异值与步骤s3得到的对应的差异标准阈值value_threshould
[m]
进行比较，若大于，则判定当前roi区域为缺陷区域，该源图像存在缺陷。
[0095]
若源图像的所有roi的差异值均小于对应的差异标准阈值，则判定该源图像不存在缺陷。
[0096]
具体地，若roi个数为1，则将模板图像的roi与源图像的roi直接进行上述比较即可；若roi个数大于等于1，则需对模板图片及源图像上，相同序号的roi区域进行上述比较。
[0097]
优选地，为进一步降低环境光照或红外灯光强波动对图片采集造成的影响，可根据当前源图片中，将其最大的roi差异值与差异标准阈值进行比对，若大于差异标准阈值value_threshould的1/3，则在判定该图片为ok的同时，自动保存当前源图像为新的模板图像。
[0098]
图2为本发明一种适用于模具监视器的图像处理装置的系统架构图。如图2所示，本发明一种适用于模具监视器的图像处理装置，包括：
[0099]
图像采集单元201，用于采用红外相机采集空模穴的模板图像、满模穴的对比图像以及待检测的源图像。
[0100]
在图像采集之前，需调整红外相机位置及镜头焦距、相机曝光值及增益值，并调整红外灯的位置。
[0101]
在本发明具体实施例中，可以通过为相机镜头安装红外滤光片得到红外相机，然后调整该相机的位置及镜头焦距，并调整红外灯的位置，获取清晰的图像，同时.调整该相机的曝光值及增益值，以避免采集的图片出现过曝及欠曝现象。
[0102]
具体的，图像采集单元201进一步包括：
[0103]
模板图像采集模块，利用该红外相机采集空模穴的模板图像，记作image_template。
[0104]
优选地，获取模板图像时，可根据需要存储多幅模板图像，并基于最小二乘法对所有模板图像进行拟合计算，然后将拟合结果与所有模板图像逐一对比，选取差异最小的模
板图像作为最终模板图像。
[0105]
对比图像采集模块，用于通过该红外相机获取满模穴的对比图像，记作image_contrast。
[0106]
源图像采集模块，用于通过该红外相机获取待检测的源图像，记作image_src。
[0107]
图像预处理单元202，用于对采集获得的模板图像、对比图像、源图像进行预处理。
[0108]
在本发明具体实施例中，利用图像增强技术中直方图均衡化的形式对采集到的模板图像与对比图像进行预处理，具体地，对图像通过灰度映射，从而使转换后的图像在每一灰度级上都有近似相同的像素点数，使灰度动态范围偏小的图像转变为对比度较高、图像灰度动态范围大、信息更加明确的图像，这样，通过直方图均衡化的形式对采集到的图片的预处理，基本排除了环境光线(照明用灯光，自然光散射)的干扰，保障了图片成像质量的稳定性。
[0109]
自适应分析单元203，用于提取模板图像的m个roi(region of interest，感兴趣区域)区域，同时提取对比图像对应的m个roi区域，采用自适应的策略分析模板图像每一个roi区域，进行像素集合的相关参数的自动最优化计算，确定每个roi区域的最优像素区间的个数以及对应每个像素区间的加权系数，并获得模板图像和对比图像对应roi区域的差异值。
[0110]
具体地，自适应分析单元203进一步包括：
[0111]
roi区域提取模块，用于提取模板图像的m个roi区域。
[0112]
在本发明具体实施例中，可根据需要绘制任意形状、任意个数的roi，本发明不以此为限。
[0113]
像素分布区间初步确定模块，用于对模板图像的每一个roi区域中的连续像素区间进行合并，初步确定每一个roi区域的多种像素分布区间分布，并确定每个像素分布区间的像素个数image_template[m][i][n]。
[0114]
对于灰度级分布在0-255的二值化图像而言，将第m(m≤m)个roi中的图像中连续的像素区间进行合并，合并后的像素区间个数记为n，在本发明具体实施例中，采用均分的策略(均分策略指的是对该256个值进行平均性的区域划分)，n[m][i]∈{8,16,32,64,128}，初步确定第m个roi区域共有5种像素区间分布，例如n[3][1]表示对于第3个roi的第一种像素区间分布，其像素分布区间的个数为8，则这8个像素分布区间为：
[0115]
[0,31],[32,63],[64,95],[96,127],[128,159],[160,191],[192,223],[224,255]。
[0116]
每个roi区域都有一个最优的像素分布区间个数，可视为是该roi的属性，本发明则需从该5种像素区间分布中选择最优的像素分布区间个数。当然像素区间分布并不限制于5种，本发明仅以此示例。
[0117]
对于每种像素区间分布，统计每种像素区间分布的每个像素分布区间的像素个数image_template[m][i][n]，若roi区域为矩形框，则统计roi像素分布时，遍历所有矩形框内的像素，然后根据当前像素区间分布的像素分布区间个数统计每个像素分布区间的像素分布，即像素个数image_template[m][i][n]即可；若roi区域为非矩形框，则需先绘制出该形状的外接矩形框，并对外界矩形框内的所有像素进行遍历，仅统计roi区域的像素分布，然后再根据当前像素区间分布的像素分布区间个数统计每个像素分布区间的像素分布。也
就是说，统计roi像素分布时，对于roi区域为矩形框内的点直接统计即可，而对于roi区域为非矩形框的情况，则需要先找出外接矩形，再对该矩形内的每个点做“是否在该矩形内”的判断，若在则统计，不在则不统计，统计过后再进行像素分布区间的划分，并计算其每个像素分布区间的像素个数image_template[m][i][n]。
[0118]
加权系数计算模块，用于对于模板图像的每一个roi区域的每一种像素区间分布，根据对比图像中相应的roi区域的像素分布区间计算模板图像该roi区域中各个像素分布区间的加权值。
[0119]
这里需说明的是，对于对比图像中相应的roi区域的像素分布区间的确定与模板图像类似，在此不予赘述。
[0120]
具体地，对于n[m][i]，选取其中的第i个值，对其第n(n≤n)个像素区间的加权值coeff[m,i,n]进行计算，其计算公式为
[0121][0122]
其中，coeff[m,i,n]表示第m个roi区域中，当选取n[i]为像素区间个数时，第n个像素区间的加权值，，例如在本实施例中，coeff[2][3][4]表示对于第2个roi，其像素区间为个数为32时，第4个像素区间(即[24,31])的加权系数；image_contrast[m][i][n]表示在对比图像的第m个roi区域中，当选取n[i]为像素区间个数时，第n个像素区间的像素个数；image_template[m][i][n]表示在模板图像的第m个roi区域中，当选取n[i]为像素区间个数时，第n个像素区间的像素个数。
[0123]
加权平方差计算模块，用于利用得到的第m个roi区域的各像素区间的加权值，获得当第m个roi区域的区间个数为n[i]时，该第m个roi的加权平方差se[m][i]。在本发明具体实施例中，该加权平方差的计算公式如下：
[0124][0125]
最优化计算模块，用于通过比较i个se[m][i]中的最大值，得出该roi区域的最优像素区间个数n[m]以及对应的加权系数组coeff[m][n]。
[0126]
差异标准阈值计算模块，用于根据得出的每一个roi区域的最优像素区间个数n[m]以及对应的加权系数组coeff[m][n]，对于模板图像每一个roi所对应的对比图像roi，计算其相同像素区间的区间距离，并根据加权系数对同一roi区域加权后像素区间距离进行求和得到对比图像单个roi的差异值作为该roi区域的差异标准阈值。
[0127]
在本发明具体实施例中，对于每一个模板图像roi所对应的对比图像roi，计算其相同像素区间的区间距离，其计算公式为
[0128][0129]
其中，distance[m,n]表示关于对比图像的第m个roi与模板图像的第m个roi，两者在第n个像素区间的距离，image_template[m][n]表示模板图像中第m个roi区域的第n个像素区间的像素个数，image_contrast[m][n]表示对比图像中第m个roi区域的第n个像素区间的像素个数。
[0130]
根据加权系数，对同一roi区域加权后像素区间距离进行求和，获得对比图像单个
roi的差异值,其计算公式为：
[0131][0132]
其中，value_threshould
[m]
表示对比图像与模板图像中第m个roi区域的差异值，作为差异标准阈值，coeff[m][n]表示模板图像的第m个roi区域中，第n个像素区间的加权系数，n[m]表示第m个roi中，像素区间的个数。
[0133]
缺陷检测单元204，用于分析源图像每一个roi的像素分布区间，统计各个roi的像素分布，对每一个模板图像roi所对应的源图像的roi，计算其相同像素区间的区间距离，并获得源图像单个roi的差异值，根据源图像单个roi的差异值与自适应分析单元203获得的对应的差异标准阈值判定当前roi区域是否缺陷区域，进而判定源图像是否存在缺陷。
[0134]
具体地，缺陷检测单元204进一步包括：
[0135]
源图像像素分布确定模块，用于分析源图像每一个roi的像素分布区间，统计各个roi的像素分布。
[0136]
在本发明具体实施例中，对于源图像，根据自适应分析单元203确定的每个roi区域的最优像素区间个数n[m]，确定源图像每个roi的像素分布区间，然后统计各个像素分布区间的像素分布。
[0137]
区间距离计算模块，用于对于每一个模板图像roi所对应的源图像roi，计算其相同像素区间的区间距离。其计算公式如下：
[0138][0139]
单个roi差异值计算模块，用于根据该roi区域内每个像素区间的加权系数，对该roi区域加权后像素区间距离进行求和，获得源图像单个roi的差异值,其计算公式如下：
[0140][0141]
其中，distance[m,n]表示源图像的第m个roi与第k幅模板图像的第m个roi，两者在第n个像素区间的距离，value[m]表示源图像与模板图像中第m个roi区域的差异值，coeff[m][n]表示第m个roi区域中，第n个像素区间的加权系数，image_src[m][n]表示源图像中，第m个roi区域的第n个像素区间的像素个数，image_template[m][n]表示模板图像中，第m个roi区域的第n个像素区间的像素个数，n[m]表示第m个roi中，像素区间的个数。
[0142]
缺陷判定模块，用于将获得的源图像的各roi区域的差异值与自适应分析单元得到的对应的差异标准阈值value_threshould
[m]
进行比较，若大于，则判定当前roi区域为缺陷区域，该源图像存在缺陷。
[0143]
若源图像的所有roi的差异值均小于对应的差异标准阈值，则判定该源图像不存在缺陷。
[0144]
实施例
[0145]
图3为本发明实施例中图像处理方法的流程图。如图3所示，本发明之适用于模具监视器的图像处理过程如下：
[0146]
步骤1.为相机镜头安装红外滤光片，调整相机位置及镜头焦距，调整红外灯的位
置，获取清晰的图像；调整相机曝光值及增益值，避免图片出现过曝及欠曝现象。
[0147]
步骤2，通过相机获取空模穴的模板图像，记作image_template。
[0148]
步骤3，通过相机获取满模穴的对比图像，记作image_contrast。
[0149]
步骤4，对模板图像和对比图像进行预处理。
[0150]
在本实施例中，预处理主要利用图像增强技术中直方图均衡化的形式，对图像通过灰度映射，从而使转换后的图像在每一灰度级上都有近似相同的像素点数，使灰度动态范围偏小的图像转变为对比度较高、图像灰度动态范围大，信息更加明确的图像。
[0151]
步骤5，画取模板图像的roi区域，个数记作m。
[0152]
步骤6，采用自适应的策略分析模板图像每一个roi的像素分布区间，计算各个像素分布区间的加权值，并确定该roi的像素区间分布。
[0153]
如图4所示，对于灰度级分布在0-255的二值化图像而言，可将第m(m≤m)个roi中的图像中连续的像素区间进行合并，合并后的像素区间个数记为n(这里采用均分的策略，n[m][i]∈{8,16,32,64,128}，共5个)。选取其中的第i个值，对其第n(n≤n)个像素区间的加权值coeff[m,i,n]进行计算,其计算公式为：
[0154][0155]
其中，coeff[m,i,n]表示第m个roi区域中，当选取n[i]为像素区间个数时，第n个像素区间的加权值，image_contrast[m][i][n]表示在对比图像的第m个roi区域中，当选取n[i]为像素区间个数时，第n个像素区间的像素个数；image_template[m][i][n]表示在模板图像的第m个roi区域中，当选取n[i]为像素区间个数时，第n个像素区间的像素个数。
[0156]
计算当区间个数为n[i]时，第m个roi的加权平方差se[m][i]。通过比较选取i个se[m][i]中的最大值，得出该roi的最优像素区间个数n[m]以及应的加权系数组coeff[m][n]。其中加权平方差的计算公式为：
[0157][0158]
其寻找第m个roi中，最优像素区间个数n[m]和加权数组coeff[m][n]的选择策略的伪代码为：
[0159]
[0160]
对于每一个模板图像roi所对应的对比图像roi，计算其相同像素区间的区间距离，其计算公式为
[0161][0162]
其中，distance[m,n]表示关于对比图像的第m个roi与模板图像的第m个roi，两者在第n个像素区间的距离，image_template[m][n]表示模板图像中第m个roi区域的第n个像素区间的像素个数，image_contrast[m][n]表示对比图像中第m个roi区域的第n个像素区间的像素个数。
[0163]
根据加权系数，对同一roi区域加权后像素区间距离进行求和，获得对比图像单个roi的差异值,其计算公式为：
[0164][0165]
其中，value_threshould
[m]
表示对比图像与模板图像中第m个roi区域的差异值，作为差异标准阈值，coeff[m][n]表示模板图像的第m个roi区域中，第n个像素区间的加权系数，n[m]表示第m个roi中，像素区间的个数。
[0166]
步骤7，如图5所示，通过红外相机获取源图像。
[0167]
步骤8，对源图像进行预处理，分析源图像每一个roi的像素分布区间，统计各个roi的像素分布。
[0168]
步骤9，对于每一个模板图像roi所对应的源图像roi，计算其相同像素区间的区间距离，其计算公式为
[0169][0170]
并通过设立加权系数，对同一roi区域加权后像素区间距离进行求和，获得源图像单个roi的差异值,其计算公式为：
[0171][0172]
其中，
[0173]
distance[m,n]:关于源图像的第m个roi与第k幅模板图像的第m个roi，两者在第n个像素区间的距离
[0174]
value[m]:源图像与模板图像中第m个roi区域的差异值
[0175]
coeff[m][n]：第m个roi区域中，第n个像素区间的加权系数
[0176]
image_src[m][n]:源图像中，第m个roi区域的第n个像素区间的像素个数
[0177]
image_template[m][n]:模板图像中，第m个roi区域的第n个像素区间的像素个数
[0178]
n[m]:第m个roi中，像素区间的个数
[0179]
步骤10，将步骤9得到的value[m]与步骤6得到的value_threshould
[m]
进行逐一比较，若大于，则判定该roi区域为缺陷区域，该源图像存在缺陷。若所有roi的差异值均小于阈值，则判定该源图像不存在缺陷。其伪代码结构为：
[0180]
do result
←
true
[0181]
for m
←
1to m(roi区域总数)
[0182]
do if value[m]》value_threshould[m]
[0183]
then result
←
false
[0184]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

技术特征：
1.一种适用于模具监视器的图像处理方法，包括如下步骤：步骤s1，采用红外相机采集空模穴的模板图像以及满模穴的对比图像；步骤s2，对采集获得的模板图像与对比图像进行预处理；步骤s3，提取模板图像的m个roi区域，同时提取对比图像对应的m个roi区域，采用自适应的策略分析模板图像每一个roi区域，进行像素集合的相关参数的自动最优化计算，确定每个roi区域的最优像素区间的个数以及对应每个像素区间的加权系数，并获得模板图像和对比图像对应roi区域的差异值作为相应roi区域的差异标准阈值；步骤s4，利用红外相机获取源图像，并对获得的源图像进行预处理；步骤s5，分析源图像每一个roi的像素分布区间，统计各个roi的像素分布；步骤s6，对于每一个模板图像roi所对应的源图像的roi，计算其相同像素区间的区间距离，并获得源图像单个roi的差异值，根据源图像单个roi的差异值与步骤s3获得的对应的差异标准阈值判定当前roi区域是否缺陷区域，进而判定源图像是否存在缺陷。2.如权利要求1所述的一种适用于模具监视器的图像处理方法，其特征在于：获取模板图像时，根据需要存储多幅模板图像，并基于最小二乘法对所有模板图像进行拟合计算，然后将拟合结果与所有模板图像逐一对比，选取差异最小的模板图像作为最终模板图像。3.如权利要求1所述的一种适用于模具监视器的图像处理方法，其特征在于，步骤s3进一步包括：步骤s300，提取模板图像的m个roi区域；步骤s301，对模板图像的每一个roi区域图像中的连续像素区间进行合并，初步确定每个roi区域的多种像素分布区间分布，并确定每个像素分布区间的像素个数(image_template[m][i][n])；步骤s302，对于模板图像的每一个roi区域的每一种像素区间分布，根据对比图像中相应的roi区域的像素分布区间计算模板图像该roi区域中各个像素分布区间的加权值；步骤s303，利用得到的第m个roi区域的各像素区间的加权值，获得当第m个roi区域的区间个数为n[i]时，该第m个roi的加权平方差(se[m][i])；步骤s304，通过比较i个se[m][i]中的最大值，得出该roi区域的最优像素区间个数(n[m])以及对应的加权系数组(coeff[m][n])；步骤s305，根据得出的每一个roi区域的最优像素区间个数(n[m])以及对应的加权系数组(coeff[m][n])，对于模板图像每一个roi所对应的对比图像roi，计算其相同像素区间的区间距离，并根据加权系数对同一roi区域加权后像素区间距离进行求和得到对比图像单个roi的差异值作为该roi区域的差异标准阈值。4.如权利要求3所述的一种适用于模具监视器的图像处理方法，其特征在于：于步骤s301中，若roi区域为矩形框，则统计roi像素分布时，遍历所有矩形框内的像素，然后根据当前像素区间分布的像素分布区间个数统计每个像素分布区间的像素分布；若roi区域为非矩形框，则先绘制出该形状的外接矩形框，并对外界矩形框内的所有像素进行遍历，仅统计roi区域的像素分布，然后再根据当前像素区间分布的像素分布区间个数统计每个像素分布区间的像素分布。5.如权利要求3所述的一种适用于模具监视器的图像处理方法，其特征在于，于步骤s305中，相同像素区间的区间距离的计算公式如下
其中，distance[m,n]表示关于对比图像的第m个roi与模板图像的第m个roi，两者在第n个像素区间的距离，image_template[m][n]表示模板图像中第m个roi区域的第n个像素区间的像素个数，image_contrast[m][n]表示对比图像中第m个roi区域的第n个像素区间的像素个数。6.如权利要求5所述的一种适用于模具监视器的图像处理方法，其特征在于，所述对比图像单个roi的差异标准阈值的计算公式为：其中，value_threshould
[m]
表示对比图像与模板图像中第m个roi区域的差异值，作为差异标准阈值，coeff[m][n]表示模板图像的第m个roi区域中，第n个像素区间的加权系数，n[m]表示模板图像的第m个roi中，像素区间的个数。7.如权利要求6所述的一种适用于模具监视器的图像处理方法，其特征在于，步骤s6进一步包括：步骤s600，对于每一个模板图像roi所对应的源图像roi，计算其相同像素区间的区间距离；步骤s601，根据该roi区域内每个像素区间的加权系数，对该roi区域加权后像素区间距离进行求和，获得源图像单个roi的差异值；步骤s602，将获得的源图像的各roi区域的差异值与步骤s3得到的对应的差异标准阈值进行比较，若大于，则判定当前roi区域为缺陷区域，该源图像存在缺陷,若源图像的所有roi的差异值均小于对应的差异标准阈值，则判定该源图像不存在缺陷。8.如权利要求7所述的一种适用于模具监视器的图像处理方法，其特征在于：于步骤s602中，若roi个数为1，则将模板图像的roi与源图像的roi直接进行比较即可；若roi个数大于等于1，则需对模板图片及源图像上相同序号的roi区域进行比较。9.如权利要求6所述的一种适用于模具监视器的图像处理方法，其特征在于：于步骤s6中，根据当前源图片中，将其最大的roi差异值与差异标准阈值进行比对，若大于差异标准阈值的1/3，则在判定该图片不存在缺陷的同时，自动保存当前源图像为新的模板图像。10.一种适用于模具监视器的图像处理装置，包括：图像采集单元，用于采用红外相机采集空模穴的模板图像、满模穴的对比图像以及待检测的源图像；图像预处理单元，用于对采集获得的模板图像、对比图像、源图像进行预处理；自适应分析单元，用于提取模板图像的m个roi区域，同时提取对比图像对应的m个roi区域，采用自适应的策略分析模板图像每一个roi区域，进行像素集合的相关参数的自动最优化计算，确定每个roi区域的最优像素区间的个数以及对应每个像素区间的加权系数，并获得模板图像和对比图像对应roi区域的差异值作为相应roi区域的差异标准阈值；缺陷检测单元，用于分析源图像每一个roi的像素分布区间，统计各个roi的像素分布，对每一个模板图像roi所对应的源图像的roi，计算其相同像素区间的区间距离，并获得源图像单个roi的差异值，根据源图像单个roi的差异值与所述自适应分析单元获得的对应的
差异标准阈值判定当前roi区域是否缺陷区域，进而判定源图像是否存在缺陷。

技术总结
本发明公开了一种适用于模具监视器的图像处理方法及装置，该方法包括：步骤S1，采集空模穴的模板图像及满模穴的对比图像；步骤S2，图像预处理；步骤S3，提取模板图像的M个ROI区域同时提取对比图像对应的M个ROI区域，采用自适应的策略分析模板图像每一个ROI区域，获得每个ROI区域的最优像素区间的个数及对应每个像素区间的加权系数，并获得相应ROI区域的差异标准阈值；步骤S4，获取源图像并进行预处理；步骤S5，分析源图像每一个ROI的像素分布区间，统计各个ROI的像素分布；步骤S6，对每一个模板图像ROI所对应的源图像ROI，根据源图像单个ROI的差异值与差异标准阈值判定当前ROI区域是否缺陷区域。是否缺陷区域。是否缺陷区域。


技术研发人员：易非凡 张海刚 孟凡胜 杨金锋 董钟铭 贺立明
受保护的技术使用者：深圳职业技术学院
技术研发日：2021.11.11
技术公布日：2022/3/8