一种检测智能监拍终端图像识别能力的装置及方法与流程

1.本发明涉及一种检测智能监拍终端图像识别能力的装置及方法，属于电力人工智能模型评价技术领域。


背景技术：

2.随着人工智能技术的蓬勃发展，电力运检、安监、营销等专业对图像识别等技术的需求愈发强烈，亟需将智能图像识别技术的先进研究成果应用于电力领域，达到降本增效的目标。基于云端分析和处理的图像识别方法，需要消耗大量的通信资源、云端算力、存储能力等资源，其实时性较差、成本较高，因而图像识别方法逐渐由云端集中处理模式向端侧智能终端分布式处理的模式转变。智能终端图像识别技术一般需要图像预处理、图像特征提取和目标检测等流程实现图像目标识别，其结果直接影响了电力的精益化运维水平，因而有必要对图像识别模型进行质量评估，保障入网终端的应用效果。
3.当前具备边端图像识别能力的智能终端，其评估规范出台相对滞后，测评技术和装置兼容性差，测评压力巨大。以智能可视化监测终端为例，其图像识别能力测评方式主要包括以下两种：(1)模型提取式的能力测评，该方法将待测模型与终端解耦，可以验证算法本身的有效性，但无法检测出模型在终端实际应用中的效果；(2)手动导入式的能力测评，该方式通过sd卡或移动存储工具手动导入测试用例，不能直接调用样本库，导致测试效率较低，同时该方式也无法对终端的功耗情况进行评估。因此亟需开发一种智能终端图像识别模型测评装置，建立必要的测评数据集，完善和细化测试流程，对以智能可视化监测终端为主体的智能终端图像识别能力进行综合评估。


技术实现要素：

4.本发明所要解决的技术问题是提供一种检测智能监拍终端图像识别能力的装置及方法，根据测试需求灵活构建测试样本集，可以将算法模型与待测终端进行一体化测评，便捷的测试流程和多路测试设计有效提高了测试的效率和自动化水平。
5.为解决上述问题，本发明所采取的技术方案是：
6.一种检测智能监拍终端图像识别能力的装置，包括硬件部分和软件部分，所述的硬件部分包括电源模块、工控机、可调电源、8路电流监测仪、交换机和数据库/样本库管理平台，所述电源模块与工控机和可调电源电连接，输入为220vac市电，经过交直流变换后为工控机、可调电源和8路电流监测仪供电。
7.所述的软件部分包括待测终端管理、系统基础管理以及样本数据管理三个功能模块。作为装置的进一步改进，
8.所述工控机作为软件部分的载体，用于测试人员与装置交互的纽带；
9.所述工控机控制可调电源的输出，为待测智能可视化监测终端提供稳定的电源；同时实时收集8路电流监测仪的电流值，实时展示终端的功率信息；
10.所述可调电源输出6-18v的直流电压，支持为多种类型的待测终端提供所需电源；
11.所述8路电流监测仪位于可调电源和待测智能可视化监测终端之间，实现测试过程中电流的监测，对采集到的模拟量信息进行滤波和模数转换后实时传输给工控机；
12.所述交换机实现工控机、可调电源、8路电流监测仪和待测智能可视化监测终端的组网，实现控制信号、数据信息的多方交互；
13.所述工控机通过交换机与数据库/样本库管理平台建立信息连接，实现样本和标注信息的下载。
14.作为装置的进一步改进，所述待测终端管理包括待测厂商管理、待测终端管理、测评管理和测评结果查询；所述待测厂商管理用于对被测厂商信息进行登记，支持查阅、添加、删除、修改所有测评对象的厂商具体信息，支持按被测终端的状态和数量等条件对厂商进行筛选；所述待测终端管理用于对厂商提交的待测终端和相关资料存入数据库中，生成与待测终端对应的二维码和纸质接收凭证；所述测试管理用于对已入库的终端进行测试，依据参数信息并对照测评标准体系进行测评，测试结果保存到数据库中；所述测评结果查询用于对检测完成的结果进行自动化分类展示，同时向厂商预留的邮箱中发送测评结果报告，厂商可使用自助报告机扫描二维码打印测评报告。
15.作为装置的进一步改进，
16.所述系统基础管理包括用户管理、资源管理和日志管理；
17.所述用户管理用于实现新用户注册、修改密码、密码找回和权限设置功能；
18.所述资源管理用于实现装置的软硬件资源分配，包括算力、存储和接口；
19.所述日志管理用于完成装置运行日志的生成及自动审计功能，对异常日志记录并及时上报。
20.作为装置的进一步改进，
21.所述样本数据管理包括数据接收、数据管理和数据导出；
22.所述数据接收实现从样本库管理平台接收测试样本，所述数据管理按照测试场景进行分类存储，在进行测试的过程中将测试样本逐张发送至待测智能可视化监测终端。
23.一种检测智能监拍终端图像识别能力的方法，包括以下步骤：
24.步骤s1：将硬件部分的8路电流监测仪与8套待测装置正负极依次电连接，将待测装置的网口与交换机相连，修改ip和端口确保与工控机在同一局域网内；
25.步骤s2：检查硬件部分的工控机与交换机连接，交换机与8路电流监测仪相连，无误后上电、启动测试；
26.步骤s3：确定测试场景，包括导线异物、吊车、塔吊、烟雾山火、施工机械五大类，进而工控机向样本库管理平台请求测试样本；
27.步骤s4：样本库管理平台接受请求后下发测试样本，工控机存储在本地并逐张下发测试样本；
28.步骤s5：待测智能可视化监测终端逐张识别图像中的目标物体，并将结果反馈给工控机，工控机为待测智能可视化监测终端供电并监测其功率信息；
29.步骤s6：直到所有场景的样本都识别完成后，工控机获取测试样本的标注信息，经计算得到待测智能可视化监测终端的识别结果。
30.作为方法的进一步改进，步骤s3中，所述测试场景，以导线异物、吊车、塔吊、烟雾山火、施工机械五大场景为例，根据样本库管理平台中样本的类型，推广到设备缺陷、人员
行为、智能运维方面检测。
31.作为方法的进一步改进，所述的测试场景中的样本是从样本库管理平台筛选的具有代表性的样本组成的样本集，由70％的正样本和30％的负样本组成，样本选取考虑了大缺陷特征、小缺陷特征、特殊角度、光线暗/逆光四个方面；
32.所述特殊角度包括俯视、侧方以及边缘。
33.作为方法的进一步改进，步骤s4中，所述逐张下发测试样本具备断点续传功能，当设备突发断电、卡机情况时，只需从断点处继续下发样本，无需重新开始。
34.作为方法的进一步改进，步骤s6中，所述识别结果，包括导线异物、吊车、塔吊、烟雾山火、施工机械五大场景中交并比分别为50％、40％、30％、20％、10％下的准确率、误报率、漏报率、效率和功耗。
35.采用上述技术方案所产生的有益效果在于：
36.(1)所述的装置可获得模型的多项评价指标，包括准确率、误报率、漏报率和识别效率等，从而全面量化待测终端的人工智能图像识别能力。
37.(2)具备检测频率为100sps的功耗检测模块，能够检测智能可视化监测终端在智能识别、低功耗等状态下的功耗情况，满足对终端功耗的测试需要。
38.(3)能够实现批量化、自动化检测，所述的装置可同时完成8台智能可视化监测终端的测试任务，一键操作，自主完成场景切换和结果记录，极大地提高了测试效率。
39.(4)可扩展性强，通过调取样本库管理平台中的测试样本集等数据，可满足基建、安监、运检和营销等多个业务部门对不同场景的测评需要；同时该装置成本较低、功能可复制、技术可推广，可根据测试任务的多寡增加装置数量。
附图说明
40.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是一种检测智能监拍终端图像识别能力的装置硬件部分结构图；
42.图2是一种检测智能监拍终端图像识别能力的装置软件部分结构图；
43.图3是一种检测智能监拍终端图像识别能力的装置测试流程图。
具体实施方式
44.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本技术及其应用或使用的任何限制。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包
括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本技术的范围。
46.为了说明本技术所述的技术方案，下面通过具体实施例来进行说明。
47.本实施例提供一种检测智能监拍终端图像识别能力的装置及方法，如图1所示，是检测智能监拍终端图像识别能力的装置的硬件部分结构图。
48.硬件部分包括电源模块、工控机、可调电源、8路电流监测仪、交换机和数据库/样本库管理平台。电源模块与工控机和可调电源电连接，输入为220vac市电，经过交直流变换后为工控机、可调电源和8路电流监测仪供电。工控机是软件部分的载体，也是测试人员与所述装置交互的纽带。工控机控制可调电源的输出，为待测智能可视化监测终端提供稳定的电源；同时实时收集8路电流监测仪的电流值，实时展示终端的功率信息。可调电源可输出6-18v的直流电压，支持为多种类型的待测终端提供所需电源。8路电流监测仪位于可调电源和待测智能可视化监测终端之间，实现测试过程中电流的监测，对采集到的模拟量信息进行滤波和模数转换后实时传输给工控机。交换机实现工控机、可调电源、8路电流监测仪和待测智能可视化监测终端的组网，实现控制信号、数据信息的多方交互。工控机通过交换机与数据库/样本库管理平台建立信息连接，实现样本和标注信息的下载。
49.如图2所示，是检测智能监拍终端图像识别能力的装置的软件部分结构图。
50.软件部分包括待测终端管理、系统基础管理以及样本数据管理三个功能模块。
51.所述待测终端管理模块包括待测厂商管理、待测终端管理、测评管理和测评结果查询。待测厂商管理用于对被测厂商信息进行登记，支持查阅、添加、删除、修改所有测评对象的厂商具体信息，支持按被测终端的状态和数量等条件对厂商进行筛选。待测终端管理用于对厂商提交的待测终端和相关资料存入数据库中，生成与待测终端对应的二维码和纸质接收凭证。测试管理用于对已入库的终端进行测试，依据参数信息并对照测评标准体系进行测评，测试结果保存到数据库中。
52.测评结果查询用于对检测完成的结果进行自动化分类展示，同时可向厂商预留的邮箱中发送测评结果报告，厂商也可使用自助报告机扫描二维码打印测评报告。
53.所述系统基础管理模块包括用户管理、资源管理和日志管理。用户管理用于实现新用户注册、修改密码、密码找回、权限设置等功能；资源管理用于实现装置的软硬件资源分配，包括算力、存储、接口等；日志管理用于完成装置运行日志的生成及自动审计功能，对异常日志记录及时上报。
54.所述样本数据管理模块包括数据接收、数据管理和数据导出。数据接收实现从样本库管理平台接收测试样本，数据管理按照测试场景进行分类存储，在进行测试的过程中将测试样本逐张发送至待测智能可视化监测终端。
55.如图3所示，是检测智能监拍终端图像识别能力的装置测试流程图。
56.步骤一：将硬件部分的8路电流监测仪与8套待测装置正负极依次电连接，将待测装置的网口与交换机相连，修改ip和端口确保与工控机在同一局域网内。
57.步骤二：检查硬件部分的工控机与交换机连接，交换机与8路电流监测仪相连。无误后上电、启动测试。
58.步骤三：确定测试场景，包括导线异物、吊车、塔吊、烟雾山火、施工机械五大类，进而工控机向样本库管理平台请求测试样本。
59.步骤四：样本库管理平台接受请求后下发测试样本，工控机存储在本地并逐张下发测试样本。
60.步骤五：待测智能可视化监测终端逐张识别图像中的目标物体，并将结果反馈给工控机，工控机为待测智能可视化监测终端供电并监测其功率信息。
61.步骤六：直到所有场景的样本都识别完成后，工控机获取测试样本的标准信息，经计算得到待测智能可视化监测终端的识别结果。
62.其中步骤三的测试场景，本发明以导线异物、吊车、塔吊、烟雾山火、施工机械五大场景为例，根据样本库管理平台中样本的类型，可以推广到设备缺陷、人员行为、智能运维等方面检测。
63.测试场景中的样本是从样本库管理平台筛选的具有代表性的样本组成的样本集，由70％的正样本和30％的负样本组成，样本选取考虑了大缺陷特征、小缺陷特征、特殊角度(俯视、侧方以及边缘)、光线暗/逆光等四个方面。
64.其中步骤四的逐张下发测试样本具备断点续传功能，当设备突发断电、卡机等情况时，只需从断点处继续下发样本，无需重新开始，可极大的提高测试效率。
65.其中步骤六的识别结果，包括导线异物、吊车、塔吊、烟雾山火、施工机械五大场景中交并比分别为50％、40％、30％、20％、10％下的准确率、误报率、漏报率、效率、功耗。
66.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；作为本领域技术人员对本发明的多个技术方案进行组合是显而易见的。而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

技术特征：
1.一种检测智能监拍终端图像识别能力的装置，包括硬件部分和软件部分，其特征在于：所述的硬件部分包括电源模块、工控机、可调电源、8路电流监测仪、交换机和数据库/样本库管理平台，所述电源模块与工控机和可调电源电连接，输入为220vac市电，经过交直流变换后为工控机、可调电源和8路电流监测仪供电；所述的软件部分包括待测终端管理、系统基础管理以及样本数据管理三个功能模块。2.根据权利要求1所述的一种检测智能监拍终端图像识别能力的装置，其特征在于：所述工控机作为软件部分的载体，用于测试人员与装置交互的纽带；所述工控机控制可调电源的输出，为待测智能可视化监测终端提供稳定的电源；同时实时收集8路电流监测仪的电流值，实时展示终端的功率信息；所述可调电源输出6-18v的直流电压，支持为多种类型的待测终端提供所需电源；所述8路电流监测仪位于可调电源和待测智能可视化监测终端之间，实现测试过程中电流的监测，对采集到的模拟量信息进行滤波和模数转换后实时传输给工控机；所述交换机实现工控机、可调电源、8路电流监测仪和待测智能可视化监测终端的组网，实现控制信号、数据信息的多方交互；所述工控机通过交换机与数据库/样本库管理平台建立信息连接，实现样本和标注信息的下载。3.根据权利要求1所述的一种检测智能监拍终端图像识别能力的装置，其特征在于：所述待测终端管理包括待测厂商管理、待测终端管理、测评管理和测评结果查询；所述待测厂商管理用于对被测厂商信息进行登记，支持查阅、添加、删除、修改所有测评对象的厂商具体信息，支持按被测终端的状态和数量等条件对厂商进行筛选；所述待测终端管理用于对厂商提交的待测终端和相关资料存入数据库中，生成与待测终端对应的二维码和纸质接收凭证；所述测试管理用于对已入库的终端进行测试，依据参数信息并对照测评标准体系进行测评，测试结果保存到数据库中；所述测评结果查询用于对检测完成的结果进行自动化分类展示，同时向厂商预留的邮箱中发送测评结果报告，厂商可使用自助报告机扫描二维码打印测评报告。4.根据权利要求1所述的一种检测智能监拍终端图像识别能力的装置，其特征在于：所述系统基础管理包括用户管理、资源管理和日志管理；所述用户管理用于实现新用户注册、修改密码、密码找回和权限设置功能；所述资源管理用于实现装置的软硬件资源分配，包括算力、存储和接口；所述日志管理用于完成装置运行日志的生成及自动审计功能，对异常日志记录并及时上报。5.根据权利要求1所述的一种检测智能监拍终端图像识别能力的装置，其特征在于：所述样本数据管理包括数据接收、数据管理和数据导出；所述数据接收实现从样本库管理平台接收测试样本，所述数据管理按照测试场景进行分类存储，在进行测试的过程中将测试样本逐张发送至待测智能可视化监测终端。6.一种检测智能监拍终端图像识别能力的方法，其特征在于，包括以下步骤：步骤s1：将硬件部分的8路电流监测仪与8套待测装置正负极依次电连接，将待测装置的网口与交换机相连，修改ip和端口确保与工控机在同一局域网内；步骤s2：检查硬件部分的工控机与交换机连接，交换机与8路电流监测仪相连，无误后
上电、启动测试；步骤s3：确定测试场景，包括导线异物、吊车、塔吊、烟雾山火、施工机械五大类，进而工控机向样本库管理平台请求测试样本；步骤s4：样本库管理平台接受请求后下发测试样本，工控机存储在本地并逐张下发测试样本；步骤s5：待测智能可视化监测终端逐张识别图像中的目标物体，并将结果反馈给工控机，工控机为待测智能可视化监测终端供电并监测其功率信息；步骤s6：直到所有场景的样本都识别完成后，工控机获取测试样本的标注信息，经计算得到待测智能可视化监测终端的识别结果。7.根据权利要求6所述的一种检测智能监拍终端图像识别能力的方法，其特征在于：步骤s3中，所述测试场景，以导线异物、吊车、塔吊、烟雾山火、施工机械五大场景为例，根据样本库管理平台中样本的类型，推广到设备缺陷、人员行为、智能运维方面检测。8.根据权利要求7所述的一种检测智能监拍终端图像识别能力的方法，其特征在于：所述的测试场景中的样本是从样本库管理平台筛选的具有代表性的样本组成的样本集，由70％的正样本和30％的负样本组成，样本选取考虑了大缺陷特征、小缺陷特征、特殊角度、光线暗/逆光四个方面；所述特殊角度包括俯视、侧方以及边缘。9.根据权利要求6所述的一种检测智能监拍终端图像识别能力的方法，其特征在于：步骤s4中，所述逐张下发测试样本具备断点续传功能，当设备突发断电、卡机情况时，只需从断点处继续下发样本，无需重新开始。10.根据权利要求6所述的一种检测智能监拍终端图像识别能力的方法，其特征在于：步骤s6中，所述识别结果，包括导线异物、吊车、塔吊、烟雾山火、施工机械五大场景中交并比分别为50％、40％、30％、20％、10％下的准确率、误报率、漏报率、效率和功耗。

技术总结
本发明公开了一种检测智能监拍终端图像识别能力的装置及方法，该装置包括硬件部分和软件部分，其特征在于：所述的硬件部分包括电源模块、工控机、可调电源、8路电流监测仪、交换机和数据库/样本库管理平台，所述电源模块与工控机和可调电源电连接，输入为220VAC市电，经过交直流变换后为工控机、可调电源和8路电流监测仪供电；所述的软件部分包括待测终端管理、系统基础管理以及样本数据管理三个功能模块。本发明根据测试需求灵活构建测试样本集，可以将算法模型与待测终端进行一体化测评，便捷的测试流程和多路测试设计有效提高了测试的效率和自动化水平。的效率和自动化水平。的效率和自动化水平。


技术研发人员：姬艳鹏 曾四鸣 陈泽 刘良帅 杜晓东 刘瑞庆
受保护的技术使用者：国家电网有限公司 国网河北能源技术服务有限公司
技术研发日：2021.11.15
技术公布日：2022/3/8