一种处理方法、装置、设备及存储介质与流程

1.本技术涉及数据处理技术领域，尤其涉及一种处理方法、装置、设备及存储介质。


背景技术：

2.相关技术中，在机器人流程自动化(robotic process automation，rpa)、自动化回归测试等自动化控制场景中，用户界面(user interface，ui)的自动控制效率较低，稳定性、兼容性较差。


技术实现要素：

3.有鉴于此，本技术实施例提供了一种处理方法、装置、设备及存储介质。
4.第一方面，本技术实施例提供了一种处理方法，所述方法包括：
5.确定目标操作页面；
6.获取包括所述目标操作页面的操作流程的预录制视频流；
7.根据所述预录制视频流中控件图像的图像变化信息，确定对所述目标操作页面进行的处理操作；
8.对所述目标操作页面执行所述处理操作。
9.第二方面，本技术实施例提供了一种处理装置，所述装置包括：
10.第一确定模块，用于确定目标操作页面；
11.第一获取模块，用于获取包括所述目标操作页面的操作流程的预录制视频流；
12.第二确定模块，用于根据所述预录制视频流中控件图像的图像变化信息，确定对所述目标操作页面进行的处理操作；
13.第一处理模块，用于对所述目标操作页面执行所述处理操作。
14.第三方面，本技术实施例提供了一种电子设备，包括：处理器、存储器和通信总线；
15.所述通信总线用于实现所述处理器和所述存储器之间的通信连接；
16.所述处理器用于执行所述存储器中的程序，以实现上述处理方法。
17.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述处理方法。
18.在本技术实施例中，首先，确定目标操作页面；其次，获取包括所述目标操作页面的操作流程的预录制视频流；再次，根据所述预录制视频流中控件图像的图像变化信息，确定对所述目标操作页面进行的处理操作；最后，对所述目标操作页面执行所述处理操作；如此，将预录制视频流中的处理操作应用于目标操作页面，能够提高对用户界面的自动控制的效率、稳定性和兼容性。
附图说明
19.图1为本发明实施例提供的一种处理方法的实现流程示意图；
20.图2为本发明实施例提供的一种处理方法的实现流程示意图；
21.图3为本发明实施例提供的一种处理方法的实现流程示意图；
22.图4a为本发明实施例提供的一种处理方法的实现流程示意图；
23.图4b为本发明实施例提供的一种处理方法的实现流程示意图；
24.图5为本发明实施例提供的一种处理方法的实现流程示意图；
25.图6为本发明实施例提供的一种处理方法的实现流程示意图；
26.图7为本发明实施例提供的一种处理方法的实现流程示意图；
27.图8为本发明实施例提供的一种基于录制视频回放反向控制应用方法的实现流程示意图；
28.图9为本技术实施例提供的一种处理装置的组成结构示意图；
29.图10为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
30.为便于理解本技术实施例的技术方案，以下对本技术实施例的相关技术进行说明。
31.相关技术中，对于用户交互页面自动控制时效率低下，稳定性和兼容性较差的问题，采用的解决方案有：
32.一、基于浏览器自动化测试框架等各种驱动方案对应用程序页面控制；
33.二、基于部分或者全部截屏比对，以实现页面控制。
34.上述第一种方案存在以下问题：
35.1)代码编写脚本方式：开发需要较长时间，产品变动维护性差，脚本容错性受网络等因素影响不够稳定，结果校验费事，跨语言需要额外成本；
36.2)事件录制回放方式：稳定性差比代码方式差，脚本容错性更差，结果校验费时间，跨环境困难。
37.上述第二种方案存在以下问题：
38.1)部分截图方案：截图花费时间，且不同分辨率适应存在问题，跨语言存在额外成本，一般需要结合手写代码或者录制；
39.2)全屏比对：跨语言不支持，准确性有待提高，动态显示需要额外处理，一般需要结合手写代码或者录制。
40.综上，相关技术中存在：手写代码开发和维护时间长，截屏录制回放稳定性差，不支持跨语言、跨分辨率等问题。
41.为此，提出了本技术实施例的以下技术方案，为了能够更加详尽地了解本技术实施例的特点与技术内容，下面结合附图对本技术实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本技术实施例。
42.本技术实施例提供一种处理方法，图1为本技术实施例提供的一种处理方法的实现流程示意图，如图1所示，该方法包括：
43.步骤s101：确定目标操作页面。
44.在一些实施例中，所述目标操作页面可以是待操作页面；比如：在自动化回归测试场景中，目标操作页面可以是待测试的应用程序的待测试页面；在机器人流程自动化场景
中，目标操作页面可以是待模仿的用户操作所针对的界面(比如：电脑界面，控制面板界面等等)。
45.在一些实施例中，确定目标操作页面，即，确定待操作页面，一般是基于具体场景下的具体需求，确定待操作页面；比如：自动化回归测试场景中，需要测试应用程序a的功能a，那么，将应用程序a实现功能a的初始页面确定待操作页面；在机器人流程自动化场景中，需要模仿用户b对控制面板的界面b的操作，那么，将控制面板的界面b确定为待操作页面。
46.步骤s102：获取包括所述目标操作页面的操作流程的预录制视频流。
47.在一些实施例中，获取包括所述目标操作页面的操作流程的预录制视频流，可以通过以下过程获取：对目标操作页面的操作流程进行录制，得到预录制视频流；或者，从视频库中获取与目标操作页面的操作流程相关的视频帧，对上述视频帧进行剪辑，得到预录制视频流。当然，也可以采用其他方式获取，此处不做赘述。
48.步骤s103：根据所述预录制视频流中控件图像的图像变化信息，确定对所述目标操作页面进行的处理操作。
49.在一些实施例中，预录制视频流中控件图像的图像变化信息，可以是两个视频帧中图像特征的不同特征；即，两个视频帧中每一控件的不同；比如：两个视频帧中，在后的视频帧相对于在前的视频帧，按钮的颜色发生变化；两个视频帧中，在后的视频帧相对于在前的视频帧，输入框中的输入内容发生变化。
50.在一些实施例中，预录制视频流中控件图像的图像变化信息，可以是通过对预录制视频流中两个视频帧中控件的位置、特征、属性等进行比较得到的；以控件为输入框为例进行说明：对两个视频帧中输入框的位置、输入框的点击属性、输入框的特征和输入框中的内容进行比较，得到控件图像的图像变化信息。
51.在一些实施例中，根据所述预录制视频流中控件图像的图像变化信息，确定对所述目标操作页面进行的处理操作，可以建立图像变化信息与处理操作之间的对应关系，进而，能够根据对应关系，确定图像变化信息对应的处理操作。上述处理操作指的是对操作界面中控件的操作，如点击按钮、在输入框中输入信息等。
52.步骤s104：对所述目标操作页面执行所述处理操作。
53.在一些实施例中，对所述目标操作页面执行所述处理操作的过程中，处理操作所针对的控件，与图像变化信息对应的控件一致。
54.在本技术实施例中，首先，确定目标操作页面；其次，获取包括所述目标操作页面的操作流程的预录制视频流；再次，根据所述预录制视频流中控件图像的图像变化信息，确定对所述目标操作页面进行的处理操作；最后，对所述目标操作页面执行所述处理操作；如此，能够将预录制视频流中的处理操作应用于目标操作页面，提高了对用户界面的自动控制的效率、稳定性和兼容性。
55.在一些实施例中，处理操作是基于两个视频帧之间的控件图像的图像变化信息确定的，图2为本技术实施例提供的一种处理方法的实现流程示意图，如图2所示，步骤s103包括以下步骤：
56.步骤s201：从所述预录制视频流中确定操作开始帧和与所述操作开始帧对应的操作结束帧。
57.在一些实施例中，根据所述预录制视频流中控件图像的图像变化信息，确定对所
述目标操作页面进行的处理操作，实际是根据预录制视频流中两个视频帧中控件图像的图像变化信息，确定对目标操作页面进行的处理操作。因此，需要先从预录制视频流中确定操作开始帧和与操作开始帧对应的操作结束帧。而操作结束帧与操作开始帧是存在关联的两个视频帧，因此，可以先确定操作开始帧，再基于操作结束帧与操作开始帧之间的关联关系确定操作结束帧。
58.步骤s202：根据所述操作开始帧和所述操作结束帧之间的控件图像的图像变化信息确定所述处理操作。
59.在一些实施例中，确定操作开始帧和操作结束帧之后，根据所述操作开始帧和所述操作结束帧之间的控件图像的图像变化信息确定所述处理操作；该过程与上述步骤s103的过程一致，此处不赘述。
60.在本技术实施例中，首先，从所述预录制视频流中确定操作开始帧和与所述操作开始帧对应的操作结束帧；其次，根据所述操作开始帧和所述操作结束帧之间的控件图像的图像变化信息确定所述处理操作；如此，能够确定出操作开始对应的视频帧和操作结束对应的视频帧，并基于这两帧之间的图像变化信息确定出对应的处理操作。
61.在一些实施例中，确定处理操作首先是要确定操作开始帧，图3为本技术实施例提供的一种处理方法的实现流程示意图，如图3所示，步骤s201包括以下步骤：
62.步骤s301：播放所述预录制视频流。
63.在一些实施例中，预录制视频流按帧播放，因此，需要设置控件对预录制视频流的播放速度进行控制。
64.步骤s302：将所述预录制视频流中当前播放的视频帧确定为预选视频帧。
65.在一些实施例中，实际操作中，预录制视频流是按帧播放的，因此，播放预录制视频流时，截取预录制视频中的视频帧，将该视频帧作为预选视频帧。其中，视频帧的截取可以通过下载一些软件进行截取，也可以通过设备自带的工具进行截取；此处不做赘述。
66.步骤s303：根据所述预选视频帧与所述目标操作页面的页面图像，确定所述操作开始帧。
67.在一些实施例中，根据所述预选视频帧与所述目标操作页面的页面图像确定所述操作开始帧，可以是通过比对预选视频帧与目标操作页面的页面图像，确定操作开始帧。这里，可以设置第一预设阈值，在预选视频帧与目标操作页面的页面图像之间的相似度大于第一预设阈值的情况下，将预选视频帧确定为操作开始帧；在预选视频帧与目标操作页面的页面图像之间的相似度小于第一预设阈值的情况下，播放下一帧，确定该帧与目标操作页面的页面图像之间的相似度，重复上述过程，直至播放到与目标操作页面的页面图像之间的相似度大于第一预设阈值的视频帧，将该视频帧作为操作开始帧。上述实施方式，保证了操作开始帧于目标操作页面的当前页面是一致的，从而保证了根据操作开始帧和操作结束帧确定的处理操作，在目标操作页面中有对应的被执行对象，如控件。
68.在一些实施例中，确定操作开始帧之后，需要根据操作开始帧确定操作结束帧，步骤s201还包括以下步骤：
69.步骤s304：从所述操作开始帧中识别目标控件图像。
70.在一些实施例中，由于处理操作针对的对象是控件，因此，操作开始帧与操作结束帧中至少均包括处理操作对应的控件。即，至少存在一个相同的控件。进而，可以基于操作
开始帧中的至少一个目标控件图像识别操作结束帧。
71.步骤s305：依次从所述操作开始帧的后续视频帧中识别满足目标条件的视频帧，将首次识别到的视频帧作为所述操作结束帧。
72.在一些实施例中，所述目标条件包括：该视频帧中包含所述目标控件图像，且与所述目标控件图像存在差异。
73.在一些实施例中，对操作开始帧进行处理操作得到操作结束帧，因此，操作开始帧与操作结束帧的差异在于处理操作的执行与否。综上，操作开始帧与操作结束帧中至少均包括处理操作对应的控件(目标控件图像)，且操作开始帧与操作结束帧中目标控件图像存在差异。因此，将操作开始帧后续的视频帧中首次识别到的包含目标控件图像，且与目标控件图像存在差异的视频帧作为操作结束帧。
74.在一些实施例中，确定包含目标控件图像，且与目标控件图像存在差异的视频帧(操作结束帧)的手段不止一种，因此，该视频帧需要至少满足以下条件之一；即，所述目标条件还包括以下至少之一：
75.该视频帧与所述操作开始帧的相似度大于第一相似度阈值；
76.该视频帧的特定区域图像与所述操作开始帧中的特定区域图像相同；
77.该视频帧中的第一控件的图像与所述开始视频帧中的第一控件的图像位置相同。
78.在一些实施例中，可以基于与操作开始帧之间的相似度确定操作结束帧；比如：将与操作开始帧之间的相似度在第二预设阈值与第三预设阈值之间的视频帧作为操作结束帧。可以基于与操作开始帧中的特定区域图像相同与否确定操作结束帧；比如：将与操作开始帧局部区域一致的视频帧作为操作结束帧。也可以基于同一控件的位置是否与操作开始帧相同，来确定操作结束帧；比如：将按钮1的位置与操作开始帧中按钮1的位置相同的视频帧，作为操作结束帧。
79.在本技术实施例中，首先，播放所述预录制视频流；其次，将所述预录制视频流中当前播放的视频帧确定为预选视频帧；再次，根据所述预选视频帧与所述目标操作页面的页面图像，确定所述操作开始帧；接着，从所述操作开始帧中识别目标控件图像；其次，依次从所述操作开始帧的后续视频帧中识别满足目标条件的视频帧，将首次识别到的视频帧作为所述操作结束帧；如此，能够确定出操作开始帧和操作结束帧。
80.在一些实施例中，处理操作可以基于，图4a为本技术实施例提供的一种处理方法的实现流程示意图，如图4a所示，步骤s202包括以下步骤：
81.步骤s401：确定目标控件图像对应的控件类别。
82.在一些实施例中，确定目标控件图像之后，确定目标控件图像对应的控件类别。这里，确定目标控件图像对应的控件类别，即，确定目标控件图像对应的控件具体为何种控件；比如：目标控件图像对应的控件是输入框、目标控件图像对应的控件是按钮等等。
83.在一些实施例中，确定目标控件图像对应的控件类别，可以通过训练分类网络来识别目标控件图像对应的控件类别。在训练网络时，可以采用标注的界面图像作为数据集对网络进行训练。在识别控件类别时，可以通过以下过程实现：如图4b所示，首先，主干网络41提取图像特征，得到特征图；其次，对特征图进行感兴趣区域对齐，根据预选框的位置坐标在特征图中将相应区域池化为固定尺寸的特征图；再次，基于分类网络42和检测网络43，对控件图像中的目标控件图像(比如：按钮)进行检测和分类，得到目标控件图像及对应的
分类；接着，基于语义分割网络44，对目标控件图像(比如：按钮)进行语义分割，获取准确的目标控件图像；最后，输出准确的目标控件图像及对应的分类。
84.步骤s402：根据所述操作结束帧中控件图像相对于所述操作开始帧中控件图像的目标控件变化图像确定动作信息。
85.在一些实施例中，动作信息可以是与处理操作相关的信息，以目标控件图像为输入框为例进行说明：目标控件变化图像表征输入框从无值变为有值，那么，动作信息就是输入值，该值通过光学字符识别提取得到。
86.在一些实施例中，目标控件变化图像可以根据操作开始帧与操作结束帧的帧间差确定；即，先将操作结束帧与操作开始帧相减，得到帧间差；再对帧间差进行分析，得到目标控件变化图像。
87.步骤s403：基于所述控件类别和所述动作信息确定所述处理操作。
88.在一些实施例中，处理操作是针对目标控件图像进行的操作；比如：在输入框输入值，对按钮1进行点击。
89.在一些实施例中，结合控件类型和动作信息即可确定处理操作；比如：控件类型为输入框，动作信息为输入值，那么，处理操作就是在输入框输入值。
90.在本技术实施例中，首先，确定目标控件图像对应的控件类别；其次，根据所述操作结束帧中控件图像相对于所述操作开始帧中控件图像的目标控件变化图像确定动作信息；再次，基于所述控件类别和所述动作信息确定所述处理操作；如此，能够确定出针对目标控件图像进行的处理操作。
91.在一些实施例中，需要连续执行两个处理操作，图5为本技术实施例提供的一种处理方法的实现流程示意图，如图5所示，该方法还包括：
92.步骤s501：在所述预录制视频流中，确定所述至少两个待操作控件匹配的图像帧集合。
93.在一些实施例中，对目标操作页面的处理操作不止一个，因此，在处理操作为两个以上的情况下，需要确定每一处理操作的执行顺序；此时，第一步是在预录制视频流中，确定出每一处理操作对应的图像帧集合。
94.在一些实施例中，确定出每一处理操作对应的图像帧集合，可以通过以下过程实现：首先，基于目标操作页面的变化，确定两个处理操作的分界帧；其次，基于分界帧，确定每一处理操作对应的图像帧集合。
95.步骤s502：确定所述图像帧集合在所述预录制视频流中的时间序列。
96.在一些实施例中，图像帧集合的时间序列，即，图像帧集合播放的时间顺序。这里，可以通过记录图像帧集合的播放顺序，确定图像帧集合在预录制视频流中的时间序列。
97.步骤s503：基于所述时间序列，确定所述至少两个待操作控件对应的处理操作的执行顺序。
98.在一些实施例中，每一处理操作对应的时间不同，因此，将上述确定的时间序列作为至少两个待操作控件对应的处理操作的执行顺序。
99.步骤s504：按照所述执行顺序对所述至少两个待操作控件执行所述处理操作。
100.在本技术实施例中，首先，在所述预录制视频流中，确定所述至少两个待操作控件匹配的图像帧集合；其次，确定所述图像帧集合在所述预录制视频流中的时间序列；再次，
基于所述时间序列，确定所述至少两个待操作控件对应的处理操作的执行顺序；最后，按照所述执行顺序对所述至少两个待操作控件执行所述处理操作；如此，能够执行连续的两个以上的处理操作。
101.在一些实施例中，预录制视频流可以通过视频库获取，图6为本技术实施例提供的一种处理方法的实现流程示意图，如图6所示，步骤s102包括以下步骤：
102.步骤s601：从操作视频库中获取一个或多个预选视频流。
103.在一些实施例中，预选视频流可以是目标操作对应的候选视频流。操作视频库存储有海量操作对应的视频流，因此，可以从视频库中获取目标操作对应的候选视频流，再从候选视频流中确定出在目标操作页面执行目标操作的预录制视频流。
104.在一些实施例中，从操作视频库中获取一个或多个预选视频流，可以将在不同用户界面执行目标操作的视频流，确定为预选视频流。
105.步骤s602：根据所述预选视频流的首帧图像和所述目标操作页面的起始页面图像，从所述预选视频流中确定所述预录制视频流。
106.在一些实施例中，根据所述预选视频流的首帧图像和所述目标操作页面的起始页面图像，从所述预选视频流中确定所述预录制视频流，可以通过以下过程实现：首先，确定预选视频流的首帧图像与目标操作页面的起始页图像的相似度；其次，将相似度大于第四预设阈值的首帧图像对应的预选视频流确定为预录制视频流。在一些实施例中，在目标操作为两个以上的情况下，根据上述过程确定每一目标操作对应的视频流，对每一目标操作对应的视频流进行剪辑，得到预录制视频流。
107.在本技术实施例中，首先，从操作视频库中获取一个或多个预选视频流；其次，根据所述预选视频流的首帧图像和所述目标操作页面的起始页面图像，从所述预选视频流中确定所述预录制视频流；如此，能够获取包括目标操作页面的操作流程的预录制视频流。
108.在一些实施例中，需要对处理结果进行验证，如此，才能获知用户界面对应的产品是否需要改进，图7为本技术实施例提供的一种处理方法的实现流程示意图，如图7所示，该方法还包括：
109.步骤s701：确定对所述目标操作页面进行处理的处理结果图像。
110.在一些实施例中，执行处理操作之后即可得到对应的处理结果，因此，处理结果图像在处理操作之后连续的若干帧中确定。
111.在一些实施例中，确定对所述目标操作页面进行处理的处理结果图像，可以通过预设阈值，将与上一帧相似度在第五预设阈值与第六预设阈值之间的视频帧确定为处理结果图像；其中，预设阈值可以通过预录制视频流中处理结果对应的视频帧与处理操作对应的视频帧之间的差异确定。
112.步骤s702：比较所述处理结果图像与所述预录制视频流中与所述处理结果图像对应的视频帧，根据比较结果输出提示信息。
113.在一些实施例中，比较所述处理结果图像与所述预录制视频流中与所述处理结果图像对应的视频帧，可以通过以下过程实现：首先，确定处理结果图像与预录制视频流中与处理结果图像对应的视频帧之间的相似度；其次，相似度大于第七预设阈值时，说明操作结果符合预期；否则，不符合预期，输出提示信息。
114.在本技术实施例中，首先，确定对所述目标操作页面进行处理的处理结果图像；其
次，比较所述处理结果图像与所述预录制视频流中与所述处理结果图像对应的视频帧，根据比较结果输出提示信息；如此，能够及时获知处理结果不符合预期的情况。
115.下面，将说明本技术实施例在一个实际的应用场景中的示例性应用，以双屏笔记本电脑为例进行以下说明。
116.图8为本技术实施例提供的一种基于录制视频回放反向控制应用方法的实现流程示意图，如图8所示，该方法包括：
117.步骤s801：播放录制视频的视频帧。
118.步骤s802：抓取应用起始页面截屏。
119.步骤s803：比较当前帧和当前页面截屏是否一致。
120.在一些实施例中，在当前帧和当前页面截屏一致的情况下，进入步骤s804；在当前帧和当前页面截屏不一致的情况下，返回步骤s801；此外，可以设置预设时长，在比较当前帧和当前页面截屏超过预设时长的情况下，结束整个流程。
121.步骤s804：判断录制视频是否播放结束。
122.在一些实施例中，在视频播放没有结束的情况下，进入步骤s805；在视频播放结束的情况下，结束整个流程。
123.步骤s805：播放录制视频下一帧。
124.步骤s806：判断两帧是否存在视频帧差的局部特征。
125.在一些实施例中，在存在视频帧差的局部特征的情况下，进入步骤s807；在不存在视频帧差的局部特征的情况下，返回步骤s806。
126.步骤s807：在应用页面执行局部特征对应的操作。
127.步骤s808：判断控制结果是否符合预期。
128.在一些实施例中，在控制结果符合预期的情况下，进入步骤s808；在控制结果不符合预期的情况下，进入步骤s810。
129.步骤s809：抓取应用新页截屏。
130.步骤s810：输出应用出现异常。
131.步骤s811：触发告警通知，并结束整个流程。
132.在本技术实施例中，首先，同步自适应对齐视频帧和应用的起始页面；其次，在对齐视频帧和页面之后，分析视频帧间差，找出局部特征，并产生对应的动作在应用上；再次，校验局部特征和实际作用在应用上的效果，如果一致则继续，反之则告警等处理；最后，循环以上操作直到视频播放结束；如此，提高了对用户界面的自动控制的效率、稳定性和兼容性。
133.本技术实施例提供一种处理装置，图9为本技术实施例提供的一种处理装置的组成结构示意图，如图9所示，处理装置900包括：
134.第一确定模块901，用于确定目标操作页面；
135.第一获取模块902，用于用于获取包括所述目标操作页面的操作流程的预录制视频流；
136.第二确定模块903，用于根据所述预录制视频流中控件图像的图像变化信息，确定对所述目标操作页面进行的处理操作；
137.第一处理模块904，用于对所述目标操作页面执行所述处理操作。
138.在一些实施例中，所述第二确定模块903，包括：
139.第一确定子模块，用于从所述预录制视频流中确定操作开始帧和与所述操作开始帧对应的操作结束帧；
140.第二确定子模块，用于根据所述操作开始帧和所述操作结束帧之间的控件图像的图像变化信息确定所述处理操作。
141.在一些实施中，所述第一确定子模块，包括：
142.第一处理子模块，用于播放所述预录制视频流；
143.第三确定子模块，用于将所述预录制视频流中当前播放的视频帧确定为预选视频帧；
144.第四确定子模块，用于根据所述预选视频帧与所述目标操作页面的页面图像，确定所述操作开始帧。
145.在一些实施中，所述第一确定子模块，还包括：
146.第一识别子模块，用于从所述操作开始帧中识别目标控件图像；
147.第五确定子模块，用于依次从所述操作开始帧的后续视频帧中识别满足目标条件的视频帧，将首次识别到的视频帧作为所述操作结束帧。
148.在一些实施例中，所述目标条件包括：该视频帧中包含所述目标控件图像，且与所述目标控件图像存在差异。
149.在一些实施例中，所述目标条件还包括以下至少之一：
150.该视频帧与所述操作开始帧的相似度大于第一相似度阈值；
151.该视频帧的特定区域图像与所述操作开始帧中的特定区域图像相同；
152.该视频帧中的第一控件的图像与所述开始视频帧中的第一控件的图像位置相同。
153.在一些实施例中，所述第二确定子模块，包括：
154.第六确定子模块，用于确定目标控件图像对应的控件类别；
155.第七确定子模块，用于根据所述操作结束帧中控件图像相对于所述操作开始帧中控件图像的目标控件变化图像确定动作信息；
156.第八确定子模块，用于基于所述控件类别和所述动作信息确定所述处理操作。
157.在一些实施例中，所述处理装置900，还包括：
158.第三确定模块，用于在所述预录制视频流中，确定所述至少两个待操作控件匹配的图像帧集合；
159.第四确定模块，用于确定所述图像帧集合在所述预录制视频流中的时间序列；
160.第五确定模块，用于基于所述时间序列，确定所述至少两个待操作控件对应的处理操作的执行顺序；
161.第六确定模块，用于按照所述执行顺序对所述至少两个待操作控件执行所述处理操作。
162.在一些实施例中，所述第一获取模块902，包括：
163.第一获取子模块，用于从操作视频库中获取一个或多个预选视频流；
164.第九确定子模块，用于根据所述预选视频流的首帧图像和所述目标操作页面的起始页面图像，从所述预选视频流中确定所述预录制视频流。
165.在一些实施例中，所述处理装置，还包括：
166.第七确定模块，用于确定对所述目标操作页面进行处理的处理结果图像；
167.第二处理模块，用于比较所述处理结果图像与所述预录制视频流中与所述处理结果图像对应的视频帧，根据比较结果输出提示信息。
168.本技术实施例提供一种电子设备，图10为本技术实施例提供的一种电子设备的结构示意图，如图10所示，电子设备1000包括：处理器1001、存储器1002和通信总线1003；
169.所述通信总线1003用于实现所述处理器1001和所述存储器1002之间的通信连接；
170.所述处理器1001用于执行所述存储器1002中的程序，以实现上述处理方法。
171.本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述处理方法。
172.需要说明的是，上述计算机可读存储介质可以是只读存储器(read only memory，rom)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性随机存取存储器(ferromagnetic random access memory，fram)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(compact disc read-only memory，cd-rom)等存储器；也可以是包括上述存储器之一或任意组合的各种处理器，如移动电话、计算机、平板设备、个人数字助理等。
173.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
174.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
175.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所描述的方法。
176.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
177.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
178.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
179.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种处理方法，所述方法包括：确定目标操作页面；获取包括所述目标操作页面的操作流程的预录制视频流；根据所述预录制视频流中控件图像的图像变化信息，确定对所述目标操作页面进行的处理操作；对所述目标操作页面执行所述处理操作。2.根据权利要求1所述的方法，所述根据所述预录制视频流中控件图像的图像变化信息确定对所述目标操作页面进行的处理操作，包括：从所述预录制视频流中确定操作开始帧和与所述操作开始帧对应的操作结束帧；根据所述操作开始帧和所述操作结束帧之间的控件图像的图像变化信息确定所述处理操作。3.根据权利要求2所述的方法，所述从所述预录制视频流中确定所述操作开始帧，包括：播放所述预录制视频流；将所述预录制视频流中当前播放的视频帧确定为预选视频帧；根据所述预选视频帧与所述目标操作页面的页面图像，确定所述操作开始帧。4.根据权利要求2所述的方法，所述从所述预录制视频流中确定所述操作结束帧，包括：从所述操作开始帧中识别目标控件图像；依次从所述操作开始帧的后续视频帧中识别满足目标条件的视频帧，将首次识别到的视频帧作为所述操作结束帧；所述目标条件包括：该视频帧中包含所述目标控件图像，且与所述目标控件图像存在差异。5.根据权利要求4所述的方法，所述目标条件还包括以下至少之一：该视频帧与所述操作开始帧的相似度大于第一相似度阈值；该视频帧的特定区域图像与所述操作开始帧中的特定区域图像相同；该视频帧中的第一控件的图像与所述开始视频帧中的第一控件的图像位置相同。6.根据权利要求2所述的方法，所述根据所述操作开始帧和所述操作结束帧之间的控件图像的图像变化信息确定所述处理操作，包括：确定目标控件图像对应的控件类别；根据所述操作结束帧中控件图像相对于所述操作开始帧中控件图像的目标控件变化图像确定动作信息；基于所述控件类别和所述动作信息确定所述处理操作。7.根据权利要求1所述的方法，在所述目标操作页面上呈现至少两个待操作控件的情况下，所述对所述目标操作页面执行所述处理操作，包括：在所述预录制视频流中，确定所述至少两个待操作控件匹配的图像帧集合；确定所述图像帧集合在所述预录制视频流中的时间序列；基于所述时间序列，确定所述至少两个待操作控件对应的处理操作的执行顺序；按照所述执行顺序对所述至少两个待操作控件执行所述处理操作。8.根据权利要求1所述的方法，所述获取包括所述目标操作页面的操作流程的预录制
视频流，包括：从操作视频库中获取一个或多个预选视频流；根据所述预选视频流的首帧图像和所述目标操作页面的起始页面图像，从所述预选视频流中确定所述预录制视频流。9.根据权利要求1所述的方法，所述方法还包括：确定对所述目标操作页面进行处理的处理结果图像；比较所述处理结果图像与所述预录制视频流中与所述处理结果图像对应的视频帧，根据比较结果输出提示信息。10.一种电子设备，包括：处理器、存储器和通信总线；所述通信总线用于实现所述处理器和所述存储器之间的通信连接；所述处理器用于执行所述存储器中的程序，以实现如权利要求1至9中任一项所述的处理方法。

技术总结
本申请公开了一种处理方法、装置、设备及存储介质，其中，所述方法包括：确定目标操作页面；获取包括所述目标操作页面的操作流程的预录制视频流；根据所述预录制视频流中控件图像的图像变化信息，确定对所述目标操作页面进行的处理操作；对所述目标操作页面执行所述处理操作。操作。操作。


技术研发人员：杨尚大 李辉
受保护的技术使用者：联想（北京）有限公司
技术研发日：2021.11.26
技术公布日：2022/3/8