一种面向复杂显控系统的自动化测试验证方法与流程

1.本技术属于航空航天技术领域，特别涉及一种面向复杂显控系统的自动化测试验证方法。


背景技术：

2.目前国内在大型航空电子复杂显控系统的测试和验证方面，仍然主要靠人力堆叠，通过手动“过筛子”等手段，对指令和参数进行逐一验证。虽然这样也能完成对复杂显控系统的测试验证，但由于其功能多、代码规模大、显示内容丰富，控制指令杂多、交互逻辑复杂等因素，已经暴露出许多问题。主要表现为：
3.1)无法解决验证周期短带来的回归验证不全面难题；
4.2)人工测试致使测试人员一直做单一、重复、枯燥的工作，容易产生抵触、甚至厌烦的情绪，影响验证准确率；
5.3)需要花费大量的人力、时间和资源。
6.因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。


技术实现要素：

7.本技术的目的是提供了一种面向复杂显控系统的自动化测试验证方法，以解决现有技术存在的至少一个问题。
8.本技术的技术方案是：
9.一种面向复杂显控系统的自动化测试验证方法，包括：
10.获取测试验证场景以及用例脚本，并生成用例脚本的预期结果；
11.分解自动测试验证执行，并生成用例脚本的实际测试结果；
12.将对应用例脚本的实际测试结果与预期结果进行自动对比，得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储。
13.在本技术的至少一个实施例中，所述分解自动测试验证执行，并生成用例脚本的实际测试结果包括：
14.根据测试验证场景自动查找指令画面；
15.自动触发点击所述指令画面上的指令按钮，截取图片；
16.根据所述指令按钮获取对应的报文数据；
17.对截取的图片进行识别，并提取点击后的指令按钮变化，生成实际测试结果。
18.在本技术的至少一个实施例中，所述将对应用例脚本的实际测试结果与预期结果进行自动对比，得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储包括：
19.将对应用例脚本的实际测试结果与预期结果进行自动源码比对；
20.将指令名称、实际测试结果以及预期结果进行关联一致确认；
21.得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储。
22.在本技术的至少一个实施例中，所述分解自动测试验证执行，并生成用例脚本的实际测试结果还包括：
23.根据测试验证场景依次间隔自动发送对应界面的多次报文数据；
24.根据所述报文数据自动切换界面显示；
25.截取图片，并保存界面显示记录，所述界面显示记录包括日期以及用例号；
26.按照时间以及用例号对截取的图片进行分类存储标记，对截取的图片进行识别，并提取界面参数显示数值，生成实际测试结果。
27.在本技术的至少一个实施例中，所述将对应用例脚本的实际测试结果与预期结果进行自动对比，得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储包括：
28.将对应用例脚本的实际测试结果与预期结果进行界面参数显示数值以及自动源码比对；
29.得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储。
30.在本技术的至少一个实施例中，所述根据测试验证场景依次间隔自动发送对应界面的多次报文数据包括：
31.根据测试验证场景依次间隔自动发送对应界面的5次报文数据，分别为界面中参数的最小值、次小值、中间值、次大值以及最大值。
32.发明至少存在以下有益技术效果：
33.本技术的面向复杂显控系统的自动化测试验证方法，能够高效的完成大型显控系统全生命周期的测试与验证，使测试人员从繁琐重复的测试验证工作中解脱出来，降低人力成本的同时，提高测试验证效率和准确率。
附图说明
34.图1是本技术一个实施方式的面向复杂显控系统的自动化测试验证系统拓扑架构图；
35.图2是本技术一个实施方式的面向复杂显控系统的自动化测试验证系统组成示意图；
36.图3是本技术一个实施方式的控制指令自动化测试验证流程图；
37.图4是本技术一个实施方式的遥测参数自动化测试验证流程图。
具体实施方式
38.为使本技术实施的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本技术一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。下面结合附图对本技术的实施例进行详细说明。
39.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术保护范围的限制。
40.下面结合附图1至图4对本技术做进一步详细说明。
41.本技术提供了一种面向复杂显控系统的自动化测试验证方法，包括以下步骤：
42.获取测试验证场景以及用例脚本，并生成用例脚本的预期结果；
43.分解自动测试验证执行，并生成用例脚本的实际测试结果；
44.将对应用例脚本的实际测试结果与预期结果进行自动对比，得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储。
45.在本技术的一个实施方式中，基于控制指令自动化测试验证方式为：
46.分解自动测试验证执行，并生成用例脚本的实际测试结果包括：
47.根据测试验证场景自动查找指令画面；
48.自动触发点击指令画面上的指令按钮，截取图片；
49.根据指令按钮获取对应的报文数据；
50.对截取的图片进行识别，并提取点击后的指令按钮变化，生成实际测试结果。
51.本实施例中，将对应用例脚本的实际测试结果与预期结果进行自动对比，得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储包括：
52.将对应用例脚本的实际测试结果与预期结果进行自动源码比对；
53.将指令名称、实际测试结果以及预期结果进行关联一致确认；
54.得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储。
55.在本技术的一个实施方式中，基于遥测参数自动化测试验证方式为：
56.分解自动测试验证执行，并生成用例脚本的实际测试结果还包括：
57.根据测试验证场景依次间隔自动发送对应界面的多次报文数据；
58.根据报文数据自动切换界面显示；
59.截取图片，并保存界面显示记录，界面显示记录包括日期以及用例号；
60.按照时间以及用例号对截取的图片进行分类存储标记，对截取的图片进行识别，并提取界面参数显示数值，生成实际测试结果。
61.本实施例中，将对应用例脚本的实际测试结果与预期结果进行自动对比，得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储包括：
62.将对应用例脚本的实际测试结果与预期结果进行界面参数显示数值以及自动源码比对；
63.得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储。
64.本实施例中，根据测试验证场景依次间隔自动发送对应界面的多次报文数据包括：
65.根据测试验证场景依次间隔自动发送对应界面的5次报文数据，分别为界面中参数的最小值、次小值、中间值、次大值以及最大值。
66.本技术的面向复杂显控系统的自动化测试验证方法，基于一种面向复杂显控系统的自动化测试验证系统，系统拓扑架构图如图1所示，包括通过交换机互联的服务器端的服
务器以及客户端的多个监控席。
67.本技术的一个优选实施方案中，如图2所示，服务器端软件包括：测试场景与用例脚本编辑生成模块、网络数据发送接收处理模块、图像文字识别提取处理模块、数据激励模块、结果自动比对模块以及测试数据分析模块。客户端软件包括：鼠标模拟自动点击模块、图像生成及回传模块。
68.在本技术的一个实施方式中，面向复杂显控系统的自动化测试验证系统实现的功能主要为：
69.a)具备测试场景和测试用例脚本可视化编辑功能；
70.b)具备支持icd变更、oop变更带来的底层基础数据快速调整功能；
71.c)具备读取测试场景和测试用例脚本后，能够给出本次测试指令个数和参数个数、测试预期结果、理论预计用时、执行步骤预览等功能；
72.d)具备服务器端和客户端之间的数据共享、进度实时同步功能；
73.e)具备自动化执行测试期间服务器端软件根据测试内容，执行步骤同步过程、执行进度可视化功能；
74.f)具备根据界面模块划分，发送遥测数据的功能；具备针对带参数指令和界面多个参数自动发送最小值，次小值，中间值，次大值和最大值，遍历数据定义功能；
75.g)具备保存鼠标自动点击操作记录功能；
76.h)具备将被测软件显示界面截图保存并回传至服务器端的功能；
77.i)具备图像/图片自动识别、文字识别提取功能；
78.j)具备针对某一指令或参数，原始图像/图片、识别提取后的数据和原始激励数据的同步显示功能；
79.k)具备数据统计分析功能，包含测试总时间、测试名称、使用的测试场景、测试用例、测试总数量、正确率、错误率、错误具体参数、未识别率、未识别的具体图像名称、每个测试用例耗时等；
80.l)具备对预期结果和实际测试结果自动比对和给出验证结论功能；
81.m)具备对原始数据和验证结论的关键字检索功能；
82.n)具备图像存储、接收数据存储、发送数据等原始数据以及验证结论等数据的存储功能。
83.本技术的面向复杂显控系统的自动化测试验证方法，控制指令自动化测试流程示例如下，如图3所示：
84.a)客户端软件根据测试验证场景自动控制鼠标点击界面上的“左遥调”指令，并截图回传服务器端；
85.b)被测软件根据点击按钮发送对应消息报文；
86.c)服务器端接收图片和报文数据；
87.d)服务器端对图片进行识别、提取鼠标点击后的指令按钮变化，输出点击的指令名称；
88.e)服务器端对接收到的消息数据和预期数据进行源码比对；
89.f)指令名称、接收数据和预期数据关联一致确认，给出测试结果。
90.本技术的面向复杂显控系统的自动化测试验证方法，遥测参数自动化测试流程示
例如下，如图4所示：
91.a)服务器端软件根据测试验证场景依次间隔自动发送5次报文数据，分别为界面中参数的最小值、次小值、中间值、次大值以及最大值；
92.b)客户端软件收到每次数据后，同步开展显示界面截图(带日期，用例号)，并实时回传至服务器端；
93.c)服务器端依次接收图片，并按时间和用例号分类存储标记；
94.d)服务器端对图片进行识别、提取界面参数显示数值，输出测试数据；
95.e)服务器端对发送数据和测试数据进行物理值和源码比对；
96.f)给出测试结果，并对错误结果给出提示和定位。
97.本技术的面向复杂显控系统的自动化测试验证方法，验证效率高：相比传统人工测试验证方法，计算机提供的并行计算能力和效率，以及对长周期下异常情况的捕捉能力都远高于前者，测试验证效率大幅度提升；测试准确率高：相比传统人工测试验证方法，不存在人员采集数据不全面、疲劳等带来的结果错误，计算机根据测试用例和验证脚本精准计算，给出验证结果；节省人力资源：该方法虽然前期需要编制测试验证脚本，但再测试验证环节甚至可实现无人值守下完成全系统的输入/输出测试验证，大幅度降低了对人力资源的依赖，从而降低成本；加快产品成型：验证效率和准确率的提高不仅缩短了测试验证周期，还保证了交付后的产品质量，进而加快产品成型，较早产生市场效益。
98.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种面向复杂显控系统的自动化测试验证方法，其特征在于，包括：获取测试验证场景以及用例脚本，并生成用例脚本的预期结果；分解自动测试验证执行，并生成用例脚本的实际测试结果；将对应用例脚本的实际测试结果与预期结果进行自动对比，得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储。2.根据权利要求1所述的面向复杂显控系统的自动化测试验证方法，其特征在于，所述分解自动测试验证执行，并生成用例脚本的实际测试结果包括：根据测试验证场景自动查找指令画面；自动触发点击所述指令画面上的指令按钮，截取图片；根据所述指令按钮获取对应的报文数据；对截取的图片进行识别，并提取点击后的指令按钮变化，生成实际测试结果。3.根据权利要求2所述的面向复杂显控系统的自动化测试验证方法，其特征在于，所述将对应用例脚本的实际测试结果与预期结果进行自动对比，得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储包括：将对应用例脚本的实际测试结果与预期结果进行自动源码比对；将指令名称、实际测试结果以及预期结果进行关联一致确认；得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储。4.根据权利要求1所述的面向复杂显控系统的自动化测试验证方法，其特征在于，所述分解自动测试验证执行，并生成用例脚本的实际测试结果还包括：根据测试验证场景依次间隔自动发送对应界面的多次报文数据；根据所述报文数据自动切换界面显示；截取图片，并保存界面显示记录，所述界面显示记录包括日期以及用例号；按照时间以及用例号对截取的图片进行分类存储标记，对截取的图片进行识别，并提取界面参数显示数值，生成实际测试结果。5.根据权利要求4所述的面向复杂显控系统的自动化测试验证方法，其特征在于，所述将对应用例脚本的实际测试结果与预期结果进行自动对比，得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储包括：将对应用例脚本的实际测试结果与预期结果进行界面参数显示数值以及自动源码比对；得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储。6.根据权利要求4所述的面向复杂显控系统的自动化测试验证方法，其特征在于，所述根据测试验证场景依次间隔自动发送对应界面的多次报文数据包括：根据测试验证场景依次间隔自动发送对应界面的5次报文数据，分别为界面中参数的最小值、次小值、中间值、次大值以及最大值。

技术总结
本申请属于航空航天技术领域，特别涉及一种面向复杂显控系统的自动化测试验证方法。包括：获取测试验证场景以及用例脚本，并生成用例脚本的预期结果；分解自动测试验证执行，并生成用例脚本的实际测试结果；将对应用例脚本的实际测试结果与预期结果进行自动对比，得到各个用例脚本的验证结论，并将各个用例脚本的验证结论进行数据存储。本申请的面向复杂显控系统的自动化测试验证方法，能够高效的完成大型显控系统全生命周期的测试与验证，使测试人员从繁琐重复的测试验证工作中解脱出来，降低人力成本的同时，提高测试验证效率和准确率。提高测试验证效率和准确率。提高测试验证效率和准确率。


技术研发人员：王鹤 王兴龙 张世辉 马红亮 陈思亮
受保护的技术使用者：中国航空工业集团公司沈阳飞机设计研究所
技术研发日：2021.11.25
技术公布日：2022/3/8