一种仪表盘图像识别方法、装置、计算机设备和存储介质与流程

1.本发明实施例涉及图像识别的技术领域，尤其涉及一种仪表盘图像识别方法、装置、计算机设备和存储介质。


背景技术：

2.随着仪器仪表技术的快速发展，仪器仪表广泛应用于各行各业。在电力系统的运行过程中，为监测电力线路、变电站电力设备的运行状态、健康状况等，仪器仪表也普遍应用于电力系统中，通过指针与刻度指示电力设备等的状态信息。
3.由于电网数字化进程的推进，输变配一体化自动飞行器智能巡维模式也正在变电站巡检工作中积极实践，变电专业自动飞行器巡检项目已进入实际测试乃至推广阶段。其中，自动飞行器在巡视作业过程中针对各种仪器仪表会产出大量图像数据，而目前对于这些图像数据的量化仍依赖人工的读取与录入。
4.通过人工来读取和录入图像数据表征的仪器仪表指针所指示的电力设备等的运行数据，首先随着数据孪生等理念的提出以及战略的部署，获取到的电力设备数据已不单用于判断巡视时电力设备的状态是否满足安全需求，还用于结合历史数据对设备长时间运行状态的系统性分析，则相对的设备数据精度的要求则越来越高。在人工读取时则每个人对于不同仪器仪表图像数据所显示电力数据的读取多多少少都会存在个体误差与偶然误差，数据难以同一标准下被量化，其精确性也很难得到保障。其次，由于无人机在巡视过程中采集的图像数据数量大，使人工录入的工作量增大。且存在针对不同仪器仪表采集的图像相似的情况，易导致人工读取录入时因混淆图像而在指定的电力设备数据采集表中录入错误数据。


技术实现要素：

5.本发明实施例提出了一种仪表盘图像识别方法、装置、计算机设备和存储介质，以解决人工读取变电站各仪表盘的指针数据时，不同人员读取时个体误差以及混淆相似仪表盘导致误读数据或数据精准度不高的问题。
6.第一方面，本发明实施例提供了一种仪表盘图像识别方法，包括：
7.获取自动飞行器面向变电站的仪表盘采集的第一图像数据；
8.从所述第一图像数据中提取第一加速稳健特征；
9.将所述第一加速稳健特征与第二加速稳健特征进行匹配，所述第二加速稳健特征来源于第二图像数据，所述第二图像数据为在预设的角度对所述变电站中指定类型的仪表盘采集的图像数据；
10.若匹配成功，则根据所述第一加速稳健特征与所述第二加速稳健特征将所述第一图像数据与所述第二图像数据对齐；
11.在对齐后的所述第一图像数据中识别所述类型下的所述仪表盘的读数。
12.第二方面，本发明实施例还提供了一种仪表盘图像识别装置，包括：
13.第一图像数据获取模块，用于获取自动飞行器面向变电站的仪表盘采集的第一图像数据；
14.第一加速稳健特征提取模块，用于从所述第一图像数据中提取第一加速稳健特征；
15.加速稳健特征匹配模块，用于将所述第一加速稳健特征与第二加速稳健特征进行匹配，所述第二加速稳健特征来源于第二图像数据，所述第二图像数据为在预设的角度对所述变电站中指定类型的仪表盘采集的图像数据，若匹配成功则调用第一图像数据对齐模块；
16.第一图像数据对齐模块，用于根据所述第一加速稳健特征与所述第二加速稳健特征将所述第一图像数据与所述第二图像数据对齐；
17.仪表盘读数识别模块，用于在对齐后的所述第一图像数据中识别所述类型下的所述仪表盘的读数。
18.第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
19.一个或多个处理器；
20.存储器，用于存储一个或多个程序，
21.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的仪表盘图像识别方法。
22.第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的仪表盘图像识别方法。
23.本发明实施例中，通过获取自动飞行器面向变电站的仪表盘采集的第一图像数据，从第一图像数据中提取第一加速稳健特征，将第一加速稳健特征与提前在预设角度采集的第二图像数据的第二加速稳健特征匹配，在匹配后对第一图像数据进行对齐，使第一图像数据更适于刻度的识别，不会因自动飞行器在面向变电站中电力设备的仪表盘采集第一图像数据时因角度不同导致采集的第一图像数据中仪表盘区域发生畸变导致无法进行刻度识别。然后在对齐后的第一图像数据中识别指定类型的仪表盘的读数，完成仪表盘读数的识别。并通过针对指定类型的仪表盘进行读数，避免因面向不同类型的仪表盘采集第一图像数据时，因不同类型仪表盘在外观上相似导致识别错乱。本发明实施例中，通过对仪表盘采集图像，根据仪表盘指针位置读取变电站中仪表盘指示的电力设备的运行数据，相较于人工读取方式，在面对大量待读取的表盘图像时，减少了由于读取人个体的差异带来的读数误差，提升了数据采集的精确性并节省了人力。进一步的本发明实施例还通过第二图像数据对齐第一图像数据，减少因自动飞行器采集仪表盘的第一图像数据时因不在固定角度采集导致第一图像数据发生畸变的影响，使得根据对齐后的第一图像数据计算指针位置时更精确地识别仪表盘读数，提升了通过自动飞行器采集仪表盘图像数据进行仪表盘读数的可靠性。
附图说明
24.图1为本发明实施例一提供的一种仪表盘图像识别方法的流程图；
25.图2为本发明实施例二提供的一种仪表盘图像识别装置的结构示意图；
26.图3为本发明实施例三提供的一种计算机设备的结构示意图。
具体实施方式
27.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
28.实施例一
29.图1为本发明实施例一提供的一种仪表图像识别方法的流程图，本实施例可适用于人工读取仪表盘图像数据中刻度值准确度低且工作量大的情况，该方法可以由仪表图像识别装置来执行，该仪表图像识别装置可以由软件和/或硬件实现，可配置在计算机设备中，具体包括如下步骤：
30.步骤101、获取自动飞行器面向变电站的仪表盘采集的第一图像数据。
31.本实施例中，变电站时改变电压的场所，在这一场所中，为服务于改变电压的工作，设置有多种电力设备。为保障变电站的安全运行，通常对边电站中各种电力设备都进行实时的监测，以预防事故发生或及时维修发生故障的电力设备，减少安全隐患。随着电网智能化概念的提出以及出于人员安全的考虑，进一步的还推广采用自动飞行器对变电站中各种电力设备进行巡检，巡检过程中针对变电站内监测电力设备运行数据的仪表盘，可以通过自动飞行器搭载的摄像头采集仪表盘的图像作为第一图像数据，并将第一图像数据用于仪表盘读数的识别。
32.步骤102、从第一图像数据中提取第一加速稳健特征。
33.本实施例中，由于自动飞行器采集图像时，面向不同的变电站以及变电站中不同的电力设备所处的位置，自动飞行器采集仪表盘图像时常常受到角度的限制，以至于采集的第一图像数据中仪表盘的位置可能发生畸变，影响后续的读数识别。因此本实施例中提出从第一图像数据中提取第一加速稳健特征，用于将发生畸变的第一图像数据位置摆正，使读数的识别更精确，提高自动飞行器的巡检质量。
34.在本发明的一个实施例中，从第一图像数据中提取第一加速稳健特征的过程具体表现为：
35.获取第一图像数据中像素点的坐标值，作为加速稳健特征计算数据。
36.本实施例中可以使用surf(speeded up robust features,加速稳健特征)算法来提取第一图像数据的第一加速稳健特征。surf算法是sift算法(scale invariant feature transform，尺度不变特征变换算法)的加速版，一般来说它比sift要快好几倍，且在多幅图像下具有更好的稳定性，surf采用了哈尔特征+积分图像的概念，大大加快了程序的运行时间。在应用surf算法提取第一加速稳健特征时，首先提取第一图像数据中各个像素点的坐标值，然后分别将每个像素点的坐标值输入海森矩阵中，是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，海森矩阵在图像处理中有广泛的应用，比如边缘检测、特征点检测例如本实施例中的第一加速稳健特征的检测以及加速稳健特征的匹配等。海森矩阵的输入可以是属于图像数据的各像素点的坐标值，以得到该像素点所属的图像数据的加速稳健特征，加速稳健特征也可表示为特征点。因此本实施例中，可以获取第一图像数据中各像素点的坐标值，作为获取加速稳健特征的计算数据。将加速稳健特征计算数据代入特征
矩阵，得到第一目标特征矩阵，例如当像素点的坐标值为(x,y)时，将(x,y)输入海森矩阵则表现为：
37.h表示海森矩阵，表示加速稳健特征的水平、垂直二阶偏导，表示当前加速稳健特征表示的像素点在水平方向的二阶偏导数，表示当前加速稳健特征表示的像素点在垂直方向的二阶偏导数，f表示坐标值函数。
38.由于加速稳健特征具备尺度无关性，因此本实施例中还可以通过海森矩阵，对加速稳健特征进行高斯滤波，以获取第一图像数据的第一加速稳健特征，高斯滤波的原理是首先判断该加速稳健特征表示的像素点是否是第一图像数据中各个像素点中的极值点，极值点包括极大值点和极小值点，然后确定为极值点的像素点为第一加速稳健特征。更进一步地，本实施例还可以采用三维线性插值法得到亚像素级的第一加速稳健特征，同时去掉小于一定阈值的加速稳健特征，或可以增加极值，使极大值更大、极小值更小，从而得到更少的加速稳健特征，作为第一加速稳健特征，使得获取的第一加速稳健特征表达第一图像数据的特征性更强。
39.获取第一目标特征矩阵的特征值，作为第一特征值，本实施例中计算极值点的过程表现为获取第一目标特征矩阵的特征值，特征值由第一目标矩阵的行列式计算得到，本实施例中行列式表现为：det(h)表示行列式函数。
40.比较第一特征值与第二特征值的大小，第二特征值为像素点在二维图像空间及尺度空间相邻的26个像素点的坐标值计算得到的特征值，本实施例中当对各个像素点得到的第一目标矩阵的矩阵值进行计算后，针对每个像素点进行极值点筛选时是有范围的筛选，选取预设范围内的极值点，例如每个像素点得出的特征值与该像素点在二维图像空间及尺度空间相邻(即三维领域)的26个点(每个平面9个点再除去自身)得出的特征值进行大小比较，如果该像素点的特征值是这26个点中的最大值或者最小值，则可以将该像素点作为第一加速稳健特征。在本实施例的计算过行程中，可以将像素点得出的特征值作为第一特征值，与该像素点相邻的26个像素点的特征值作为第二特征值，则第一加速稳健特征的选取过程表现为：选取数值最大和数值最小的第一特征值和/或第二特征值所属的像素点作为第一加速稳健特征。
41.步骤103、将第一加速稳健特征与第二加速稳健特征进行匹配，第二加速稳健特征来源于第二图像数据，第二图像数据为在预设的角度对变电站中指定类型的仪表盘采集的图像数据，若匹配成功则执行步骤104。
42.本实施例中，在获得第一加速稳健特征后还可以将第一加速稳健特征与第二加速稳健特征进行匹配，匹配的作用是将可能发生畸变的第一图像数据根据具有模板作用的第二图像数据进行摆正，第二加速稳健特征是表征第二图像数据的特征的像素点的集合。本实施例中可以在采集第一图像数据之前，对变电站中某一指定类型的仪表盘采集第二图像
数据，并确定采集第二图像数据时采集角度准确。
43.在本发明的一个实施例中，获取第二加速稳健特征的具体过程表现为：
44.获取在预设角度面向变电站指定类型的仪表盘采集的原始图像数据，在预设角度采集的原始图像数据中仪表盘未发生畸变，本实施例中在为获取第二加速稳健特征采集原始图像数据时，并不限定采集原始图像数据的工具为自动飞行器，因为地形限制或变电站中电力设备位置的摆放原因，在采集原始图像时仅使用自动飞行器采集，易导致用于校正第一图像数据的第二图像数据同样发生畸变，模板作用效果较差难以达到校正目的。
45.在原始图像数据中裁剪仪表盘区域，作为第二图像数据，本实施例中在获取到原始图像数据后为简化匹配过程和第二加速稳健特征的标定过程，可以将原始图像数据中仪表盘区域裁剪出来，作为第二图像数据。
46.对第二图像数据标定仪表盘的刻度点、圆心，作为第二加速稳健特征。本实施例中，第二加速稳健特征是通过对第二图像数据中仪表盘的刻度点，圆心点进行标定得到。因为本实施例的最终目标是识别仪表盘的读数，因此将第二图像数据中仪表盘的刻度点、圆心作为第二加速稳健特征，可以更好的帮助校正第一图像数据中刻度位置、指针位置，从而提升针对第一图像数据进行仪表盘读数识别的准确性。
47.在本发明的一个实施例中，匹配第一加速稳健特征与第二加速稳健特征的过程具体可以表现为：
48.计算第一加速稳健特征与第二加速稳健特征的欧氏距离，本实施例中在进行第一加速稳健特征与第二加速稳健特征的匹配时，可以以欧氏距离来衡量第一加速稳健特征与第二加速稳健特征的相似度，然后将最相似的第一加速稳健特征与第二加速稳健特征匹配在一起。本实施例中。欧式距离越小则第一加速稳健特征与第二加速稳健特征的相似度就越高。在前述选取得到第一图像数据的第一加速稳健特征后还可以对第一加速稳特征进行主方向分配，例如统计第一加速稳健特征圆形邻域内的哈尔小波特征。即在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直哈尔小波特征总和，然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内哈尔小波特征值之后，最后将值最大的那个扇形的方向作为该特征点的主方向。进一步的本实施例还可以在第一加速稳健特征周围选取一个4*4的矩形区域块，并使所取得的矩形区域块方向为前述计算得到的主方向，然后统计矩形区域块中单个子区域中25个像素点的水平方向和垂直方向的哈尔小波特征，这里的水平和垂直方向都是相对主方向而言的。该哈尔小波特征包括水平方向值之和、垂直方向值之和、水平方向绝对值之和以及垂直方向绝对值之和。再之后，将前述的四个值作为每个子区域的特征向量，因此本实施例中针对第一加速稳健特征点可以将前述四个值组成的特征向量与矩形区域块的4*4大小相乘，一共得到64维向量作为第一加速稳健特征的描述子，针对第二加速稳健特征，描述子获取方法相同。计算第一加速稳健特征与第二加速稳健特征的欧式距离时则表现为计算64维的第一加速稳健特征与第二加速稳健特征的欧式距离。
49.若欧式距离小于预设的距离阈值，则确定第一加速稳健特征与第二加速稳健特征匹配成功。本实施例中，可以设置欧式距离的距离阈值，当欧氏距离小于该距离阈值时则可以判定第一加速稳健特征与第二加速稳健特征匹配成功。
50.在本发明的一个实施例中，进行第一加速稳健特征与第二加速稳健特征的匹配时，还可以通过特征矩阵的矩阵迹判断第一加速稳健特征与第二加速稳健特征的是否匹配
失败，例如：
51.将第一加速稳健特征的坐标值代入特征矩阵，得到第二目标特征矩阵，将第二加速稳健特征的坐标值代入特征矩阵，得到第三目标特征矩阵，本实施例中获取矩阵迹可以将第一加速稳健特征的坐标值、第二加速稳健特征的坐标值代入特征矩阵，特征矩阵同样为海森矩阵。
52.计算第二目标特征矩阵、第三目标特征矩阵的矩阵迹，分别作为第一矩阵迹、第二矩阵迹，本实施例中当第一加速稳健特征与第二加速稳健特征间矩阵迹若正负号相同则说明第一加速稳健特征与第二加速稳健特征具有相同方向上的对比度变化，若不同则说明第一加速稳健特征与第二加速稳健特征对比度变化方向是相反的，即使欧氏距离为0，也直接予以排除第一加速稳健特征与第二加速稳健特征相似的情况。因此本实施例中可以判断第一矩阵迹与第二矩阵迹的正负号是否相同，若相同，则可以继续根据欧式距离匹配第一加速稳健特征、第二加速稳健特征，若不同，则可以直接确定第一加速稳健特征与第二加速稳健特征匹配失败。
53.步骤104、根据第一加速稳健特征与第二加速稳健特征将第一图像数据与第二图像数据对齐。
54.本实施例中，可以将匹配成功的第一加速稳健特征与第二加速稳健特征将第一图像数据与第二图像数据对齐，发挥第二图像数据的模板校正的效果
55.在本发明的一个实施例中，对齐第一图像数据与第二图像数据的具体过程表现为：
56.根据匹配成功的第一加速稳健特征的坐标值、第二加速稳健特征的坐标值，生成透视变换矩阵，本实施例中第一加速稳健特征与第二加速稳健特征可以表示不同视角下针对同一个物体所采集的图像数据中，相同位置点的不同表现。因此可以根据匹配成功的第一加速稳健特征与第二加速稳健特征的对应关系生成透视变换矩阵，即单应矩阵，将发生畸变的第一图像数据中各个像素点根据透视变换矩阵进行位置的校正，降低识别难度。例如当第一加速稳健特征的坐标值为(x1，y1)，第二加速稳健特征的坐标值为(x1，x2)时，透视变化矩阵表现为：其中h
11-h
33
为透视变换矩阵的特征系数，可以通过代入多个匹配成功的第一加速稳健特征与第二加速稳健特征的坐标值计算得出。
57.使用透视变换矩阵，对齐第一图像数据。本实施例中，在计算得到透视变化矩阵后，可以将第一图像数据中所有像素点代入透视变换矩阵中，得到坐标值改变的新的像素点，并合并所有新的像素点即得到对齐后的第一图像数据，由此完成第一图像数据的对齐。
58.步骤105、在对齐后的第一图像数据中识别类型下的仪表盘的读数。
59.本实施例中，可以通过读取对齐后的第一图像数据中仪表盘的指针位置和刻度位置识别自动飞行器所采集的指定类型的仪表盘的读数。对齐后的第一图像数据中因第二加速稳健特征的调整，仪表盘的指针位置以及刻度位置都可以从畸变状态回到未发生畸变的位置，对第一图像数据的对齐相当于把自动飞行器从非预设角度拍摄的第一图像数据摆正为在预设角度下拍摄的状态。
60.在本发明的一个实施例中，识别仪表盘读数的具体过程表现为：
61.将对齐后的第一图像数据作灰度化处理，本实施例中在获得对齐后的第一图像数据后，首先对该第一图像数据作灰度化处理。在针对仪表盘采集的第一图像数据中，因仪表盘的特质例如仪表盘的表面通常为大面积的白色，指针通常为黑色，或其他深色。因此在对第一图像数据进行灰度处理后，指针指向的仪表盘的刻度以及仪表盘圆心将出现灰度值的突变。
62.获取映射至对齐后的第一图像数据中第二加速稳健特征的灰度值，作为第一灰度值。本实施例中，在第一图像数据进行对齐后，可以将第二图像数据中的第二加速稳健特征映射至对齐的第一图像数据中的像素点上，从而得到第一图像数据中相应的仪表盘圆心位置、以及刻度位置，并获取处于圆心位置、刻度位置的像素点的灰度值，作为第一灰度值。
63.遍历第一灰度值，本实施例在获取到表示可以表示仪表盘上刻度和圆心的像素点第一灰度值后，可以通过遍历第一灰度值来查找灰度值发生突变的像素点，作为仪表盘中指针指向的刻度与仪表盘的圆心。
64.获取第一灰度值发生突变的第二加速稳健特征形成的连线，本实施例中在根据映射的第二加速稳健特征获取到仪表盘中指针指向的刻度位置与仪表盘的圆心位置后，可以勾勒该刻度位置与圆心位置的连线，以表示仪表盘中的指针。
65.依次获取连线上各像素点的灰度值，作为第二灰度值。本实施例中，在确定表示仪表盘指针的连线后，可以从圆心位置处依次获取该连线上各个像素点的灰度值，作为第二灰度值。
66.若第二灰度值连续大于和/或小于预设的灰度阈值，则确定连线为仪表盘的指针位置。本实施例中，由于不同类型的仪表盘中指针的长度、粗细、颜色深浅不同，可以根据不同类型的仪表盘设定不同的灰度阈值。当第二灰度值连续大于和/或连续小于预设的灰度阈值时，例如仪表盘指针为黑色，表面为白色时，考虑光线对灰度值的影响可以将灰度阈值设置为5，当第二灰度值均小于5时则说明上述的连线可以表示仪表盘的指针。本实施例中还可以根据指针的长度可以设定连续多少个第二灰度值大于和/或小于预设的灰度阈值是时，才确认上述连线表示仪表盘的指针。
67.结合仪表盘的类型识别连线指示的仪表盘的读数。本实施例中，在确定上述连线可以表示仪表盘的指针后，则可以根据仪表盘的类型确定仪表盘的特点，例如每个刻度的对应的数值等，再结合数学几何算出连线在仪表盘中指示的刻度的读数。
68.本发明实施例中，通过获取自动飞行器面向变电站的仪表盘采集的第一图像数据，从第一图像数据中提取第一加速稳健特征，将第一加速稳健特征与提前在预设角度采集的第二图像数据的第二加速稳健特征匹配，在匹配后对第一图像数据进行对齐，使第一图像数据更适于刻度的识别，不会因自动飞行器在面向变电站中电力设备的仪表盘采集第一图像数据时因角度不同导致采集的第一图像数据中仪表盘区域发生畸变导致无法进行刻度识别。然后在对齐后的第一图像数据中识别指定类型的仪表盘的读数，完成仪表盘读数的识别。并通过针对指定类型的仪表盘进行读数，避免因面向不同类型的仪表盘采集第一图像数据时，因不同类型仪表盘在外观上相似导致识别错乱。本发明实施例中，通过对仪表盘采集图像，根据仪表盘指针位置读取变电站中仪表盘指示的电力设备的运行数据，相较于人工读取方式，在面对大量待读取的表盘图像时，减少了由于读取人个体的差异带来的读数误差，提升了数据采集的精确性并节省了人力。进一步的本发明实施例还通过第二
图像数据对齐第一图像数据，减少因自动飞行器采集仪表盘的第一图像数据时因不在固定角度采集导致第一图像数据发生畸变的影响，使得根据对齐后的第一图像数据计算指针位置时更精确地识别仪表盘读数，提升了通过自动飞行器采集仪表盘图像数据进行仪表盘读数的可靠性。
69.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
70.实施例二
71.图2为本发明实施例二提供的一种仪表盘图像识别装置的结构示意图，具体可以包括如下模块：
72.第一图像数据获取模块210，用于获取自动飞行器面向变电站的仪表盘采集的第一图像数据；
73.第一加速稳健特征提取模块220，用于从所述第一图像数据中提取第一加速稳健特征；
74.加速稳健特征匹配模块230，用于将所述第一加速稳健特征与第二加速稳健特征进行匹配，所述第二加速稳健特征来源于第二图像数据，所述第二图像数据为在预设的角度对所述变电站中指定类型的仪表盘采集的图像数据，若匹配成功则调用第一图像数据对齐模块240；
75.第一图像数据对齐模块240，用于根据所述第一加速稳健特征与所述第二加速稳健特征将所述第一图像数据与所述第二图像数据对齐；
76.仪表盘读数识别模块250，用于在对齐后的所述第一图像数据中识别所述类型下的所述仪表盘的读数。
77.在本发明的一个实施例中，所述第一加速稳健特征提取模块220包括：
78.加速稳健特征计算数据获取模块，用于获取第一图像数据中像素点的坐标值，作为加速稳健特征计算数据；
79.第一目标特征矩阵获取模块，用于将所述加速稳健特征计算数据代入特征矩阵，得到第一目标特征矩阵；
80.第一特征值获取模块，用于获取所述第一目标特征矩阵的特征值，作为第一特征值；
81.特征值比较模块，用于比较所述第一特征值与第二特征值的大小，所述第二特征值为所述像素点在二维图像空间及尺度空间相邻的26个像素点的坐标值计算得到的所述特征值；
82.第一加速稳健特征选取模块，用于选取数值最大和数值最小的所述第一特征值和/或所述第二特征值所属的像素点作为第一加速稳健特征；
83.在本发明的一个实施例中，所述加速稳健特征匹配模块230包括：
84.欧氏距离计算模块，用于计算所述第一加速稳健特征与所述第二加速稳健特征的欧氏距离，若所述欧式距离小于预设的距离阈值，则调用匹配成功确定模块；
85.匹配成功确定模块，用于确定所述第一加速稳健特征与所述第二加速稳健特征匹配成功。
86.在本发明的一个实施例中，所述加速稳健特征匹配模块230还包括：
87.第二目标特征矩阵获取模块，用于将所述第一加速稳健特征的坐标值代入所述特征矩阵，得到第二目标特征矩阵；
88.第三目标特征矩阵获取模块，将所述第二加速稳健特征的坐标值代入所述特征矩阵，得到第三目标特征矩阵；
89.矩阵迹获取模块，用于计算所述第二目标特征矩阵、所述第三目标特征矩阵的矩阵迹，分别作为第一矩阵迹、第二矩阵迹；
90.矩阵迹判断模块，用于判断所述第一矩阵迹与所述第二矩阵迹的正负号是否相同，若相同，则调用所述欧氏距离计算模块匹配所述第一加速稳健特征、所述第二加速稳健特征，若不同，则调用匹配失败确定模块；
91.匹配失败确定模块，用于确定所述第一加速稳健特征与所述第二加速稳健特征匹配失败。
92.在本发明的一个实施例中，所述第一图像数据对齐模块240包括：
93.透视变换矩阵获取模块，用于根据匹配成功的所述第一加速稳健特征的坐标值、所述第二加速稳健特征的坐标值，生成透视变换矩阵；
94.第一图像数据透视对齐模块，用于使用所述透视变换矩阵，对齐所述第一图像数据。
95.在本发明的一个实施例中，仪表盘读数识别模块250包括：
96.灰度化处理模块，用于将对齐后的所述第一图像数据作灰度化处理；
97.第一灰度值获取模块，用于获取映射至对齐后的所述第一图像数据中所述第二加速稳健特征的灰度值，作为第一灰度值；
98.第一灰度值遍历模块，用于遍历所述第一灰度值；
99.连线获取模块，用于获取所述第一灰度值发生突变的所述第二加速稳健特征形成的连线；
100.第二灰度值获取模块，用于依次获取所述连线上各像素点的灰度值，作为第二灰度值，若所述第二灰度值连续大于和/或小于预设的灰度阈值，则调用指针位置确定模块；
101.指针位置确定模块，用于确定所述连线为所述仪表盘的指针位置；
102.读数识别模块，用于结合所述仪表盘的所述类型识别所述连线指示的所述仪表盘的读数。
103.在本发明的一个实施例中，所述仪表盘图像识别装置还包括：
104.原始图像数据获取模块，获取自动飞行器在预设角度面向变电站指定类型的仪表盘采集的原始图像数据，在所述预设角度所述自动飞行器采集的所述原始图像数据中仪表盘未发生畸变；
105.第二图像数据获取模块，用于在所述原始图像数据中裁剪仪表盘区域，作为第二图像数据；
106.第二加速稳健特征获取模块，用于对所述第二图像数据标定所述仪表盘的刻度点、圆心，作为第二加速稳健特征。
107.本发明实施例所提供的仪表图像识别装置可执行本发明任意实施例所提供的仪表盘图像识别方法，具备执行方法相应的功能模块和有益效果。
108.实施例三
109.图3为本发明实施例三提供的一种计算机设备的结构示意图。图3示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图3显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
110.如图3所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
111.总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
112.计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
113.系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
114.具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
115.计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图3中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
116.处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的仪表盘图像识别方法。
117.实施例四
118.本发明实施例四还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述仪表盘图像识别方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
119.其中，计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
120.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

技术特征：
1.一种仪表盘图像识别方法，其特征在于，包括：获取自动飞行器面向变电站的仪表盘采集的第一图像数据；从所述第一图像数据中提取第一加速稳健特征；将所述第一加速稳健特征与第二加速稳健特征进行匹配，所述第二加速稳健特征来源于第二图像数据，所述第二图像数据为在预设的角度对所述变电站中指定类型的仪表盘采集的图像数据；若匹配成功，则根据所述第一加速稳健特征与所述第二加速稳健特征将所述第一图像数据与所述第二图像数据对齐；在对齐后的所述第一图像数据中识别所述类型下的所述仪表盘的读数。2.根据权利要求1所述的方法，其特征在于，所述从所述第一图像数据中提取第一加速稳健特征，包括：获取第一图像数据中像素点的坐标值，作为加速稳健特征计算数据；将所述加速稳健特征计算数据代入特征矩阵，得到第一目标特征矩阵；获取所述第一目标特征矩阵的特征值，作为第一特征值；比较所述第一特征值与第二特征值的大小，所述第二特征值为所述像素点在二维图像空间及尺度空间相邻的26个像素点的坐标值计算得到的所述特征值；选取数值最大和数值最小的所述第一特征值和/或所述第二特征值所属的像素点作为第一加速稳健特征。3.根据权利要求1所述的方法，其特征在于，所述将所述第一加速稳健特征与所述第二加速稳健特征进行匹配，包括：计算所述第一加速稳健特征与所述第二加速稳健特征的欧氏距离；若所述欧式距离小于预设的距离阈值，则确定所述第一加速稳健特征与所述第二加速稳健特征匹配成功。4.根据权利要求2所述的方法，其特征在于，所述将所述第一加速稳健特征与所述第二加速稳健特征进行匹配，还包括：将所述第一加速稳健特征的坐标值代入所述特征矩阵，得到第二目标特征矩阵；将所述第二加速稳健特征的坐标值代入所述特征矩阵，得到第三目标特征矩阵；计算所述第二目标特征矩阵、所述第三目标特征矩阵的矩阵迹，分别作为第一矩阵迹、第二矩阵迹；判断所述第一矩阵迹与所述第二矩阵迹的正负号是否相同；若相同，则根据所述欧式距离匹配所述第一加速稳健特征、所述第二加速稳健特征；若不同，则确定所述第一加速稳健特征与所述第二加速稳健特征匹配失败。5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述第一加速稳健特征与所述第二加速稳健特征将所述第一图像数据与所述第二图像数据对齐，包括：根据匹配成功的所述第一加速稳健特征的坐标值、所述第二加速稳健特征的坐标值，生成透视变换矩阵；使用所述透视变换矩阵，对齐所述第一图像数据。6.根据权利要求5所述的方法，其特征在于，所述在对齐后的所述第一图像数据中识别所述类型下的所述仪表盘的读数，包括：
将对齐后的所述第一图像数据作灰度化处理；获取映射至对齐后的所述第一图像数据中所述第二加速稳健特征的灰度值，作为第一灰度值；遍历所述第一灰度值；获取所述第一灰度值发生突变的所述第二加速稳健特征形成的连线；依次获取所述连线上各像素点的灰度值，作为第二灰度值；若所述第二灰度值连续大于和/或小于预设的灰度阈值，则确定所述连线为所述仪表盘的指针位置；结合所述仪表盘的所述类型识别所述连线指示的所述仪表盘的读数。7.根据权利要求1-4任一项所述的方法，其特征在于，还包括：获取自动飞行器在预设角度面向变电站指定类型的仪表盘采集的原始图像数据，在所述预设角度所述自动飞行器采集的所述原始图像数据中仪表盘未发生畸变；在所述原始图像数据中裁剪仪表盘区域，作为第二图像数据；对所述第二图像数据标定所述仪表盘的刻度点、圆心，作为第二加速稳健特征。8.一种仪表图像识别装置，其特征在于，包括：第一图像数据获取模块，用于获取自动飞行器面向变电站的仪表盘采集的第一图像数据；第一加速稳健特征提取模块，用于从所述第一图像数据中提取第一加速稳健特征；加速稳健特征匹配模块，用于将所述第一加速稳健特征与第二加速稳健特征进行匹配，所述第二加速稳健特征来源于第二图像数据，所述第二图像数据为在预设的角度对所述变电站中指定类型的仪表盘采集的图像数据，若匹配成功则调用第一图像数据对齐模块；第一图像数据对齐模块，用于根据所述第一加速稳健特征与所述第二加速稳健特征将所述第一图像数据与所述第二图像数据对齐；仪表盘读数识别模块，用于在对齐后的所述第一图像数据中识别所述类型下的所述仪表盘的读数。9.一种计算机设备，其特征在于，所述计算机设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的仪表盘图像识别方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的仪表盘图像识别方法。

技术总结
本发明实施例提供了一种仪表盘图像识别方法、装置、计算机设备和介质，该方法包括：获取自动飞行器面向变电站的仪表盘采集的第一图像数据，从第一图像数据中提取第一加速稳健特征，将第一加速稳健特征与第二加速稳健特征进行匹配，若匹配成功，则根据第一加速稳健特征与第二加速稳健特征将第一图像数据与第二图像数据对齐，在对齐后的第一图像数据中识别类型下的仪表盘的读数。本发明实施例通过对齐第一图像数据，使自动飞行器采集的第一图像数据更适于刻度的识别，使得根据对齐后的第一图像数据计算指针位置时更精确地识别仪表盘读数，从而提升了通过自动飞行器采集仪表盘图像数据进行仪表盘读数的可靠性。数据进行仪表盘读数的可靠性。数据进行仪表盘读数的可靠性。


技术研发人员：林佳润 李露琼 刘梓权 林捷 林梓衡 张华欣 陈文旭 林峰 赖楷文 杨康宜 崔畅 林沐 刘宇嘉 张艺妮 魏济
受保护的技术使用者：广东电网有限责任公司汕头供电局
技术研发日：2021.11.30
技术公布日：2022/3/8