1.本公开涉及图像处理技术领域,具体而言,涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术:
2.图像分割技术是指将图像分成互不重叠、具有各自特征的区域的技术,图像分割技术可以应用于多种场景,比如,图像分割技术可以应用于图像背景替换场景。
3.随着技术的发展,越来越多的显示屏幕较大的电子设备存在图像背景替换的需求;比如,在进行视频会议时,需要将投影仪展示的投影图像的背景进行替换,以满足会议要求。但大屏中图像背景的替换,往往存在显示效果不佳的问题,因此,亟需一种图像处理方案以实现大屏场景的背景替换需求。
技术实现要素:
4.有鉴于此,本公开至少提供一种图像处理方法、装置、电子设备及存储介质,以提高图像处理的精准度和处理后图像的展示效果。
5.第一方面,本公开提供了一种图像处理方法,包括:
6.获取显示设备采集的待处理图像;
7.对所述待处理图像进行肢体检测,确定所述待处理图像包括的用户的当前检测框信息;
8.基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息;
9.基于所述目标检测框信息,对所述待处理图像进行背景分割,生成所述待处理图像对应的分割图像;所述分割图像用于指示所述待处理图像中的背景区域和前景区域中的至少一项;
10.基于所述分割图像和设置的背景替换方案,对所述待处理图像进行背景替换,生成目标展示图像。
11.上述方法中,通过基于显示设备采集的历史帧图像对应的历史检测框信息、以及检测得到的当前检测框信息,确定目标检测框信息,能够缓解检测框存在抖动时造成的检测框边缘反复跳动的问题,进而基于目标检测框信息,能够较为精准的对待处理图像进行背景分割,生成待处理图像对应的分割图像;再基于分割图像和设置的背景替换方案,对待处理图像进行背景替换,生成目标展示图像,背景替换的效果较好,使得生成的目标展示图像的展示效果较佳。
12.一种可能的实施方式中,所述基于所述分割图像和设置的背景替换方案,对所述待处理图像进行背景替换,生成目标展示图像,包括以下至少一项:
13.将所述分割图像指示的所述待处理图像上属于背景区域的待替换像素点的第一像素信息调整为预设像素信息,生成目标展示图像;
14.将所述分割图像指示的所述待处理图像上属于背景区域的待替换像素点的第一像素信息,调整为预设替换图像中与所述待替换像素点的像素位置匹配的候选像素点的第二像素信息,生成目标展示图像。
15.这里,可以通过设置预设像素信息,较简便的对待处理图像进行背景替换,背景替换的效率较高。或者,也可以通过确定预设替换图像,通过预设替换图像,较灵活的对待处理图像进行背景替换,背景替换的趣味性和多样性较高。
16.一种可能的实施方式中,所述当前检测框的数量为多个,所述基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息,包括:
17.针对所述待处理图像中包括的每个当前检测框,基于所述当前检测框对应的所述当前检测框信息指示的检测框标识,确定所述历史帧图像中与所述检测框标识匹配的历史检测框信息;并基于所述当前检测框信息、和与所述检测框标识匹配的历史检测框信息,确定所述当前检测框对应的目标检测框信息;
18.所述基于所述目标检测框信息,对所述待处理图像进行背景分割,生成所述待处理图像对应的分割图像,包括:
19.基于得到的多个目标检测框信息,分别对所述待处理图像进行背景分割,生成所述待处理图像对应的分割图像。
20.这里,可以为每个当前检测框确定对应的目标检测框信息,后续基于得到的多个目标检测框信息,分别对待处理图像进行背景分割,提高了背景分割的精准度。
21.一种可能的实施方式中,所述当前检测框的数量为多个,在确定所述待处理图像包括的用户的当前检测框信息之后,所述方法还包括:
22.基于所述当前检测框信息指示的置信度、检测框尺寸、位置信息中的至少一种,对所述待处理图像中包括的多个当前检测框进行筛选,得到筛选后当前检测框、和筛选后当前检测框对应的当前检测框信息;
23.所述基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息,包括:
24.基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述筛选后当前检测框对应的当前检测框信息,确定目标检测框信息。
25.本实施方式中,通过基于当前检测框信息指示的置信度、检测框尺寸、位置信息中的至少一种,对待处理图像中包括的多个当前检测框进行筛选,得到筛选后当前检测框对应的当前检测框信息,使得筛选后的当前检测框为重要程度较高的检测框,以便基于显示设备采集的历史帧图像对应的历史检测框信息和筛选后当前检测框对应的当前检测框信息,能够生成包含较精准的肢体信息的目标检测框信息。
26.一种可能的实施方式中,所述当前检测框的数量为多个,所述基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息,包括:
27.基于各个所述当前检测框信息指示的位置信息,生成包围多个当前检测框的中间检测框信息;
28.基于所述中间检测框信息和所述历史检测框信息,确定目标检测框信息。
29.这里,通过生成包围多个当前检测框的中间检测框信息,并基于中间检测框信息和历史检测框信息,确定目标检测框信息,该目标检测框的数量为一个,使得后续通过目标检测框,能够较为高效的对待处理图像进行背景分割,提高图像处理的效率。
30.一种可能的实施方式中,所述基于所述中间检测框信息和所述历史检测框信息,确定目标检测框信息,包括:
31.响应于所述待处理图像中包括的当前检测框的数量与历史帧图像中包括的历史检测框的数量匹配,基于所述中间检测框信息和所述历史检测框信息,确定至少一组点集对应的平均坐标信息;其中,点集包括处于检测框同一方位的、且分别属于中间检测框以及所述历史检测框的多个顶点;
32.基于得到的所述平均坐标信息,确定所述目标检测框信息。
33.采用上述方法,在确定待处理图像中包括的当前检测框的数量与历史帧图像中包括的历史检测框的数量匹配时,基于中间检测框信息和历史检测框信息,确定至少一组点集对应的平均坐标信息,能够缓解在当前检测框的数量与历史帧图像中包括的历史检测框的数量不一致时,利用中间检测框信息和历史检测框信息确定平均坐标信息时,造成的滑框现象发生。
34.一种可能的实施方式中,在所述至少一组点集包括处于检测框对角关系的两组点集的情况下,所述基于得到的所述平均坐标信息,确定所述目标检测框信息,包括:
35.针对每组点集,以所述点集对应的平均坐标信息为中心、预设长度为半径,确定所述平均坐标信息指示的目标顶点对应的预设区域;以及
36.在检测到历史检测框上与所述目标顶点处于同一方位的历史顶点的历史坐标信息位于所述目标顶点对应的预设区域的情况下,将所述历史顶点的历史坐标信息,确定为所述目标顶点的目标坐标信息;
37.在检测到历史检测框上与所述目标顶点处于同一方位的历史顶点的历史坐标信息不位于所述目标顶点对应的预设区域的情况下,将所述目标顶点的平均坐标信息,确定为所述目标顶点的目标坐标信息;
38.基于确定的所述目标坐标信息,确定所述目标检测框信息。
39.为了缓解检测框频繁抖动的现象,通过确定平均坐标信息指示的目标顶点对应的预设区域,在检测到历史检测框上与目标顶点处于同一方位的历史顶点的历史坐标信息位于预设区域时,将历史顶点的历史坐标信息,确定为目标顶点的目标坐标信息,即使得待处理图像的目标检测框信息沿用历史帧图像对应的历史检测框信息,保持了中间检测框的稳定性,以保障背景替换的稳定性。
40.以下装置、电子设备等的效果描述参见上述方法的说明,这里不再赘述。
41.第二方面,本公开提供了一种图像处理装置,包括:
42.获取模块,用于获取显示设备采集的待处理图像;
43.第一确定模块,用于对所述待处理图像进行肢体检测,确定所述待处理图像包括的用户的当前检测框信息;
44.第二确定模块,用于基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息;
45.分割模块,用于基于所述目标检测框信息,对所述待处理图像进行背景分割,生成
所述待处理图像对应的分割图像;所述分割图像用于指示所述待处理图像中的背景区域和前景区域中的至少一项;
46.生成模块,用于基于所述分割图像和设置的背景替换方案,对所述待处理图像进行背景替换,生成目标展示图像。
47.一种可能的实施方式中,所述生成模块,在基于所述分割图像和设置的背景替换方案,对所述待处理图像进行背景替换,生成目标展示图像时,用于:
48.将所述分割图像指示的所述待处理图像上属于背景区域的待替换像素点的第一像素信息调整为预设像素信息,生成目标展示图像;或者,
49.将所述分割图像指示的所述待处理图像上属于背景区域的待替换像素点的第一像素信息,调整为预设替换图像中与所述待替换像素点的像素位置匹配的候选像素点的第二像素信息,生成目标展示图像。
50.一种可能的实施方式中,所述当前检测框的数量为多个,所述第二确定模块,在基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息时,用于:
51.针对所述待处理图像中包括的每个当前检测框,基于所述当前检测框对应的所述当前检测框信息指示的检测框标识,确定所述历史帧图像中与所述检测框标识匹配的历史检测框信息;并基于所述当前检测框信息、和与所述检测框标识匹配的历史检测框信息,确定所述当前检测框对应的目标检测框信息;
52.所述分割模块,在基于所述目标检测框信息,对所述待处理图像进行背景分割,生成所述待处理图像对应的分割图像时,用于:
53.基于得到的多个目标检测框信息,分别对所述待处理图像进行背景分割,生成所述待处理图像对应的分割图像。
54.一种可能的实施方式中,所述当前检测框的数量为多个,所述装置还包括:筛选模块,所述筛选模块用于,在确定所述待处理图像包括的用户的当前检测框信息之后,基于所述当前检测框信息指示的置信度、检测框尺寸、位置信息中的至少一种,对所述待处理图像中包括的多个当前检测框进行筛选,得到筛选后当前检测框、和筛选后当前检测框对应的当前检测框信息;
55.所述第二确定模块,在基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息时,用于:
56.基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述筛选后当前检测框对应的当前检测框信息,确定目标检测框信息。
57.一种可能的实施方式中,所述当前检测框的数量为多个,所述第二确定模块,在基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息时,用于:
58.基于各个所述当前检测框信息指示的位置信息,生成包围多个当前检测框的中间检测框信息;
59.基于所述中间检测框信息和所述历史检测框信息,确定目标检测框信息。
60.一种可能的实施方式中,所述第二确定模块,在基于所述中间检测框信息和所述历史检测框信息,确定目标检测框信息时,用于:
61.响应于所述待处理图像中包括的当前检测框的数量与历史帧图像中包括的历史检测框的数量匹配,基于所述中间检测框信息和所述历史检测框信息,确定至少一组点集对应的平均坐标信息;其中,点集包括处于检测框同一方位的、且分别属于中间检测框以及所述历史检测框的多个顶点;
62.基于得到的所述平均坐标信息,确定所述目标检测框信息。
63.一种可能的实施方式中,在所述至少一组点集包括处于检测框对角关系的两组点集的情况下,所述第二确定模块,在基于得到的所述平均坐标信息,确定所述目标检测框信息时,用于:
64.针对每组点集,以所述点集对应的平均坐标信息为中心、预设长度为半径,确定所述平均坐标信息指示的目标顶点对应的预设区域;以及
65.在检测到历史检测框上与所述目标顶点处于同一方位的历史顶点的历史坐标信息位于所述目标顶点对应的预设区域的情况下,将所述历史顶点的历史坐标信息,确定为所述目标顶点的目标坐标信息;
66.在检测到历史检测框上与所述目标顶点处于同一方位的历史顶点的历史坐标信息不位于所述目标顶点对应的预设区域的情况下,将所述目标顶点的平均坐标信息,确定为所述目标顶点的目标坐标信息;
67.基于确定的所述目标坐标信息,确定所述目标检测框信息。
68.第三方面,本公开提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的图像处理方法的步骤。
69.第四方面,本公开提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的图像处理方法的步骤。
70.为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
71.为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
72.图1示出了本公开实施例所提供的一种图像处理方法的流程示意图;
73.图2示出了本公开实施例所提供的一种图像处理方法中,中间检测框的示意图;
74.图3示出了本公开实施例所提供的另一种图像处理方法的流程示意图;
75.图4示出了本公开实施例所提供的一种图像处理装置的架构示意图;
76.图5示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
77.为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
78.随着技术的发展,越来越多的显示屏幕较大的电子设备存在图像背景替换的需求;比如,在进行视频会议时,需要将投影仪展示的投影图像的背景进行替换,以满足会议要求。
79.一般的,传统的图像背景替换方案可以应用于诸如手机等小屏幕设备上,而在将上述传统的图像背景替换方案应用在诸如投影仪等大屏幕设备上时,由于大屏幕设备上展示的图像的尺寸较大、图像信息较为丰富,使得该图像中会存在较多的干扰信息,在对该图像进行背景替换时,降低了图像背景替换的精准度。基于此,本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质。
80.针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
81.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
82.为便于对本公开实施例进行理解,首先对本公开实施例所公开的一种图像处理方法进行详细介绍。本公开实施例所提供的图像处理方法的执行主体一般为服务器或电子设备,服务器比如可以为云端服务器、本地服务器等;电子设备比如可以为用户设备(user equipment,ue)、移动设备、个人数字助理(personal digital assistant,pda)、手持设备等。在一些可能的实现方式中,该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
83.参见图1所示,为本公开实施例所提供的图像处理方法的流程示意图,该方法包括:s101-s105,其中:
84.s101,获取显示设备采集的待处理图像;
85.s102,对所述待处理图像进行肢体检测,确定所述待处理图像包括的用户的当前检测框信息;
86.s103,基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息;
87.s104,基于所述目标检测框信息,对所述待处理图像进行背景分割,生成所述待处理图像对应的分割图像;所述分割图像用于指示所述待处理图像中的背景区域和前景区域至少一项;
88.s105,基于所述分割图像和设置的背景替换方案,对所述待处理图像进行背景替换,生成目标展示图像。
89.上述方法中,通过基于显示设备采集的历史帧图像对应的历史检测框信息、以及检测得到的当前检测框信息,确定目标检测框信息,能够缓解检测框存在抖动时造成的检测框边缘反复跳动的问题,进而基于目标检测框信息,能够较为精准的对待处理图像进行背景分割,生成待处理图像对应的分割图像;再基于分割图像和设置的背景替换方案,对待处理图像进行背景替换,生成目标展示图像,背景替换的效果较好,使得生成的目标展示图像的展示效果较佳。
90.下述对s101-s105进行具体说明。
91.在s101中,显示设备可以为屏幕尺寸较大的电子设备,比如,显示设备可以为电视、投影仪、电脑等。待处理图像可以为显示设备采集的任一图像;比如,显示设备可以实时的采集现实场景图像,将该现实场景图像作为待处理图像;或者,显示设备也可以从接收到的视频数据中采集任一视频帧,将该视频帧作为待处理图像。比如,在远程视频会议场景时,显示设备可以接收其他设备通过网络传输的视频内容,从该视频内容中采集得到待处理图像。其中,显示设备在采集到待处理图像后,可以在显示设备上展示该待处理图像,即待处理图像可以为显示设备展示的任一帧图像。
92.在s102中,实施时,可以使用训练后的用于进行肢体检测的第一神经网络,对待处理图像进行肢体检测,确定待处理图像中包括的每个用户的当前检测框信息。其中,当前检测框信息中可以包括当前检测框的位置信息,比如,当前检测框的位置信息可以包括:检测框的尺寸信息和中心点的坐标信息;和/或当前检测框的位置信息可以包括:检测框中位于对角线上的两个顶点的坐标信息、或四个顶点的坐标信息等。
93.当前检测框信息中还可以包括检测框标识,该检测框标识为对显示设备采集的多帧连续图像中的用户进行追踪确定的,即多帧连续图像中同一用户对应的检测框标识一致,不同用户对应的检测框标识不同。其中,若当前检测框中包括的用户在历史帧图像中存在对应的历史检测框时,可以将历史检测框对应的检测框标识,确定为当前检测框的检测框标识;若当前检测框中包括的用户在历史帧图像中不存在时,可以为当前检测框生成对应的检测框标识。
94.当前检测框信息中还可以包括当前检测框的置信度,该置信度用于表征当前检测框中包括的对象属于人类的概率。一般的,当前检测框中用户的肢体越完整,检测到该用户属于人类的概率较高,对应的置信度也越高;当前检测框中用户的肢体被遮挡的面积越大,检测到该用户属于人类的概率会降低,对应的置信度也较低。
95.一种可选实施方式中,在所述待处理图像包括的当前检测框的数量为多个的情况下,在确定所述待处理图像包括的用户的当前检测框信息之后,所述方法还包括:基于所述当前检测框信息指示的置信度、检测框尺寸、位置信息中的至少一种,对所述待处理图像中包括的多个当前检测框进行筛选,得到筛选后当前检测框、和筛选后当前检测框对应的当前检测框信息。
96.在待处理图像中包括多个当前检测框时,可以基于当前检测框信息指示的置信度、检测框尺寸、位置信息中的至少一种,对待处理图像中包括的多个当前检测框进行筛选,得到筛选后当前检测框、以及筛选后当前检测框对应的当前检测框信息;进而,在s103中,可以基于显示设备采集的历史帧图像对应的历史检测框信息、以及筛选后的当前检测框信息,确定目标检测框信息。
97.实施时,在利用置信度对当前检测框进行筛选时,可以设置置信度阈值,将置信度小于置信度阈值的当前检测框删除,得到筛选后当前检测框和筛选后当前检测框对应的当前检测框信息。
98.考虑到在检测框的尺寸较小时,检测框中的用户距离图像采集设备(比如显示设备)的距离较远,该用户为途径图像采集设备的可能性较高,用户的重要程度较低。基于此,在利用检测框尺寸对当前检测框进行筛选时,可以设置尺寸阈值,将检测框尺寸小于尺寸阈值的当前检测框删除,得到筛选后的当前检测框信息。或者,还可以确定当前检测框的检测框尺寸与显示设备的展示尺寸之间的比例,将比例小于设置的比例阈值的当前检测框删除,得到筛选后当前检测框和筛选后当前检测框对应的当前检测框信息。
99.在实际场景中,位于图像采集设备的采集范围边缘的用户重要程度较低,比如,在人机交互场景中,对电子设备(比如电视)进行控制的用户,会处于电视的采集范围的中间位置;再比如,在视频会议场景中,参加视频会议的用户会位于电子设备(比如电脑)的采集范围的中间位置。基于此,在利用位置信息对当前检测框进行筛选时,可以设置待处理图像对应的中间区域范围,将中心点的坐标信息位于中间区域范围之外的当前检测框筛掉,得到筛选后当前检测框和筛选后当前检测框对应的当前检测框信息。
100.在利用置信度和检测框尺寸对当前检测框筛选时,可以将置信度大于或等于置信度阈值、且检测框尺寸大于或等于尺寸阈值的当前检测框保留,将置信度小于置信度阈值、或者检测框尺寸小于尺寸阈值的当前检测框筛掉,得到筛选后当前检测框和筛选后当前检测框对应的当前检测框信息。
101.实施时,还可以确定当前检测框中用户的脸部框的尺寸信息,通过设置脸部框阈值,将脸部框的尺寸信息小于脸部框阈值的当前检测框删除,得到筛选后当前检测框和筛选后当前检测框对应的当前检测框信息。
102.本实施方式中,通过基于当前检测框信息指示的置信度、检测框尺寸、位置信息中的至少一种,对待处理图像中包括的多个当前检测框进行筛选,得到筛选后当前检测框,使得筛选后的当前检测框为重要程度较高的检测框,以便基于显示设备采集的历史帧图像对应的历史检测框信息和筛选后当前检测框的当前检测框信息,能够生成包含较精准的肢体信息的目标检测框信息。
103.在s103中,在当前检测框的数量为一个时,基于当前检测框的检测框标识,确定历史帧图像中是否存在该检测框标识对应的历史检测框信息;若不存在,则将该当前检测框信息作为目标检测框信息;若存在,则可以基于历史帧图像中历史检测框信息和当前检测框信息,确定目标检测框信息。其中,历史帧图像的数量可以根据需要进行设置,比如,历史帧图像的数量可以为5帧、10帧等。
104.比如,在历史帧图像的数量为5帧,且5帧历史帧图像中均存在与检测框标识对应的历史检测框信息,以及当前检测框信息为第一对角线上的两个顶点的坐标信息时,针对位于左上位置的第一顶点,基于当前检测框信息指示的第一顶点的坐标信息、和5个历史检测框信息分别指示的位于左上位置的顶点的坐标信息,确定第一顶点的平均坐标信息,即将6个左上位置的顶点的坐标信息求平均得到;以及针对位于右下位置的第二顶点,基于当前检测框信息指示的第二顶点的坐标信息、和5个历史检测框信息指示的位于右下位置的顶点的坐标信息,确定第二顶点的平均坐标信息。再将第一顶点的平均坐标信息和第二顶
点的平均坐标信息,确定为目标检测框信息。
105.其中,右上位置的第三顶点的平均坐标信息和左下位置的第四顶点的平均坐标信息的确定过程,可参考上述第一顶点和第二顶点的平均坐标信息的确定过程,此处不在详述。
106.在当前检测框的数量为多个时,第一种方式中,可以针对每个当前检测框,确定该当前检测框对应的目标检测框信息;得到各个当前检测框分别对应的目标检测框信息;再基于各个目标检测框信息,分别对待处理图像进行背景分割,生成待处理图像对应的分割图像;最后,基于分割图像和设置的背景替换方案,对待处理图像进行背景替换,生成目标展示图像。
107.一种可选实施方式中,当前检测框的数量为多个,基于显示设备采集的历史帧图像对应的历史检测框信息、以及当前检测框信息,确定目标检测框信息,可以包括:针对待处理图像中包括的每个当前检测框,基于当前检测框对应的当前检测框信息指示的检测框标识,确定历史帧图像中与检测框标识匹配的历史检测框信息;以及基于当前检测框信息、和与检测框标识匹配的历史检测框信息,确定当前检测框对应的目标检测框信息。
108.这里,可以为每个当前检测框确定对应的目标检测框信息,后续基于得到的多个目标检测框信息,分别对待处理图像进行背景分割,提高了背景分割的精准度。
109.首先,针对每个当前检测框,确定历史帧图像中是否存在与当前检测框的检测框标识匹配的历史检测框框,若不存在,则将当前检测框信息确定为目标检测框信息;若存在,则确定历史帧图像中与该检测框标识匹配的历史检测框信息。
110.其次,在当前检测框信息为对角线上的两个顶点的坐标信息时,可以基于当前检测框信息和与检测框标识匹配的历史检测框信息,计算对角线上的两个顶点的平均坐标信息,基于两个顶点的平均坐标信息,确定当前检测框对应的目标检测框信息。可以得到每个当前检测框对应的目标检测框信息。
111.进而在s104中,基于目标检测框信息,对待处理图像进行背景分割,生成待处理图像对应的分割图像,可以包括:基于得到的多个目标检测框信息,分别对待处理图像进行背景分割,生成待处理图像对应的分割图像。
112.比如,针对每个目标检测框,可以基于该目标检测框信息,从待处理图像中截取目标检测框对应的局部图像;利用训练的用于进行背景分割的第二神经网络,对局部图像进行背景分割,得到局部图像对应的局部分割图像;即可以得到各个目标检测框分别对应的局部分割图像。再基于各个目标检测框分别对应的局部分割图像,生成待处理图像对应的分割图像。比如,可以将各个目标检测框分别对应的局部分割图像中的局部前景区域取并集,得到整体前景区域,再根据确定的整体前景区域和待处理图像,得到待处理图像对应的分割图像。
113.其中,分割图像与待处理图像的尺寸相同,分割图像可以为包括第一像素值和第二像素值的二值图像,以区分待处理图像的前景区域和背景区域,其中,第一像素值和第二像素值可以为不同的任意像素值。即分割图像中的第一像素值对应的第一像素点为背景区域、第二像素值对应的第二像素点为前景区域;待处理图像上与分割图像的第一像素点的位置匹配的像素点属于背景区域、与第二像素点的位置匹配的像素点属于前景区域。
114.第二种方式中,可以将各个当前检测框取并集,得到尺寸较大的中间检测框信息;
再确定中间检测框对应的目标检测框信息;基于目标检测框信息,从待处理图像中截取得到目标检测框对应的局部图像;对该局部图像进行背景分割,得到待处理图像对应的分割图像;最后基于分割图像对待处理图像进行背景替换,生成目标展示图像。
115.一种可选实施方式中,在所述待处理图像包括的当前检测框的数量为多个的情况下,所述基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息,可以包括:
116.步骤a1,基于各个所述当前检测框信息指示的位置信息,生成包围多个当前检测框的中间检测框信息;
117.步骤a2,基于所述中间检测框信息和所述历史检测框信息,确定目标检测框信息。
118.这里,通过生成包围多个当前检测框的中间检测框信息,并基于中间检测框信息和历史检测框信息,确定目标检测框信息,该目标检测框的数量为一个,使得后续通过目标检测框,能够较为高效的对待处理图像进行背景分割,提高图像处理的效率。
119.在步骤a1中,参见图2所示,当前检测框1中位于左上位置的顶点的坐标信息为(x1,y1),当前检测框2中位于右下位置的顶点的坐标信息为(x2,y2),当前检测框3中位于左下位置的顶点的坐标信息为(x3,y3),则确定中间检测框信息包括:位于左上位置的顶点的坐标信息(x1,y1)、位于右下位置的顶点的坐标信息(x2,y3)。
120.在步骤a2中,一种可选实施方式中,基于所述中间检测框信息和所述历史检测框信息,确定目标检测框信息,可以包括:
121.步骤a21,响应于所述待处理图像中包括的当前检测框的数量与历史帧图像中包括的历史检测框的数量匹配,基于所述中间检测框信息和所述历史检测框信息,确定至少一组点集对应的平均坐标信息;其中,点集包括处于检测框同一方位的、且分别属于中间检测框以及所述历史检测框的多个顶点;
122.步骤a22,基于得到的所述平均坐标信息,确定所述目标检测框信息。
123.采用上述方法,在确定待处理图像中包括的当前检测框的数量与历史帧图像中包括的历史检测框的数量匹配时,基于中间检测框信息和历史检测框信息,确定至少一组点集对应的平均坐标信息,能够缓解在当前检测框的数量与历史帧图像中包括的历史检测框的数量不一致时,利用中间检测框信息和历史检测框信息确定平均坐标信息时,造成的滑框现象发生。
124.实施时,可以确定待处理图像中包括的当前检测框的数量与历史帧图像中包括的历史检测框的数量是否匹配,若不匹配,则可以将历史帧图像筛掉,将中间检测框信息确定为目标检测框信息;若一致,则可以基于中间检测框信息和历史检测框信息,确定至少一组点集对应的平均坐标信息。比如,一组点集中可以包括中间检测框上位于左上位置的顶点、历史检测框上位于左上位置的顶点。或者,一组点集中可以包括中间检测框上位于右下位置的顶点、历史检测框上位于右下位置的顶点。实施时;将点集中的各个顶点的坐标信息取平均,得到该点集对应的平均坐标信息。
125.若设定的平滑窗口为5,则可以选取5个历史帧图像,确定待处理图像中包括的当前检测框的数量、与每个历史帧图像中包括的历史检测框的数量是否匹配,若匹配,则基于中间检测框信息和历史检测框信息,确定至少一组点集对应的平均坐标信息,完成对中间检测框的平滑操作;若不匹配,则将5个历史帧图像删除,重新开始执行中间检测框平滑操
作的步骤;即针对当前的待处理图像,可以将中间检测框信息确定为目标检测框信息,并将当前的待处理图像作为下一待处理图像的历史帧图像,对下一待处理图像进行平滑。
126.实施时,若历史检测框信息为历史帧图像中包括的多个肢体框的信息时,可以基于历史帧图像中包括的多个肢体框的信息,生成包围多个肢体框的历史中间框信息;再基于中间检测框信息和历史中间框信息,确定至少一组点集的平均坐标信息。若历史检测框信息为历史帧图像对应的包围多个肢体框的历史中间框信息时,可以直接基于中间检测框信息和历史检测框信息,确定至少一组点集的平均坐标信息。
127.在确定一组点集对应的平均坐标信息时,可以基于该点集对应的平均坐标信息、和与该点集处于检测框对角关系的另一个顶点的坐标信息,确定目标检测框信息。比如,在确定了位于左上位置对应的点集的平均坐标信息之后,可以将左上位置的平均坐标信息、和中间检测框信息指示的位于右下位置的顶点的坐标信息,确定为目标检测框信息;或者,可以基于左上位置对应的点集的平均坐标信息、和中间检测框信息指示的位于右下位置的顶点的坐标信息,确定目标检测框的尺寸信息和中心点的坐标信息;将目标检测框的尺寸信息和中心点的坐标信息,确定为目标检测框信息。
128.一种可选实施方式中,在确定了一组点集(位于左上位置的各个顶点构成的)的平均坐标信息时,以该点集对应的平均坐标信息为中心、预设长度为半径,确定该点集指示的位于左上位置的顶点对应的预设区域;并检测历史检测框上与该顶点处于同一方位的历史顶点(即历史检测框上位于左上位置的历史顶点)的历史坐标信息是否位于该预设区域内,若是,则将该历史顶点的历史坐标信息,确定为顶点的目标坐标信息;若否,则将该点集对应的平均坐标信息,确定为顶点的目标坐标信息。再基于顶点对应的目标坐标信息和中间检测框信息指示的位于右下位置的顶点的坐标信息,确定目标检测框信息。
129.一种可选实施方式中,在至少一组点集包括处于检测框对角关系的两组点集的情况下,所述基于得到的平均坐标信息,确定所述目标检测框信息,可以包括:
130.步骤b1,针对每组点集,以所述点集对应的平均坐标信息为中心、预设长度为半径,确定所述平均坐标信息指示的目标顶点对应的预设区域;
131.步骤b2,在检测到历史检测框上与所述目标顶点处于同一方位的历史顶点的历史坐标信息位于所述目标顶点对应的预设区域的情况下,将所述历史顶点的历史坐标信息,确定为所述目标顶点的目标坐标信息;
132.步骤b3,在检测到历史检测框上与所述目标顶点处于同一方位的历史顶点的历史坐标信息不位于所述目标顶点对应的预设区域的情况下,将所述目标顶点的平均坐标信息,确定为所述目标顶点的目标坐标信息;
133.步骤b4,基于确定的目标坐标信息,确定所述目标检测框信息。
134.处于检测框对角关系的两组点集可以为:一组点集中包括的顶点与另一组点集中包括的顶点位于检测框的对角线的两侧。下述以两组点集包括:位于左上位置的第一顶点构成的第一点集和位于右下位置的第二顶点构成的第二点集为例进行说明。针对第一点集,以第一点集对应的平均坐标信息为中心,预设长度为半径,确定该平均坐标信息指示的目标顶点对应的预设区域;在历史帧图像的数量为多个时,可以判断多个历史检测框上位于左上位置的历史顶点(即与目标顶点处于同一方位的历史顶点)的历史坐标信息是否均位于预设区域内,若是,则将历史顶点的历史坐标信息(比如可以为最近一帧历史帧图像的
历史顶点的历史坐标信息),确定为目标顶点的目标坐标信息。若否,则将目标顶点的平均坐标信息,确定为目标顶点的目标坐标信息,得到了位于左上位置的目标顶点的目标坐标信息。基于上述过程,针对第二点集,可以得到位于右下位置的目标顶点的目标坐标信息。即得到了位于同一对角线上的两个顶点分别对应的目标坐标信息。
135.最后,基于位于同一对角线上的两个顶点分别对应的目标坐标信息,确定目标检测框信息。比如,可以将两个顶点分别对应的目标坐标信息,确定为目标检测框信息;或者,也可以基于两个顶点分别对应的目标坐标信息,确定目标检测框的尺寸信息和中心点的坐标信息;将目标检测框的尺寸信息和中心点的坐标信息,确定为目标检测框信息。
136.为了缓解检测框频繁抖动的现象,通过确定平均坐标信息指示的目标顶点对应的预设区域,在检测到历史检测框上与目标顶点处于同一方位的历史顶点的历史坐标信息位于预设区域时,将历史顶点的历史坐标信息,确定为目标顶点的目标坐标信息,即使得待处理图像的目标检测框信息沿用历史帧图像对应的历史检测框信息,保持了中间检测框的稳定性,以保障背景替换的稳定性。
137.在s104和s105中,可以基于目标检测框信息,从待处理图像中截取目标检测框对应的局部图像;利用训练后的用于进行背景分割的第二神经网络,对局部图像进行背景分割,生成与待处理图像的尺寸一致的分割图像。
138.比如,在分割图像为二值图像时,可以将第一像素值(比如为1)的第一像素点确定为前景区域像素点,将第二像素值(比如为0)的第二像素点确定为背景区域像素点;再可以针对待处理图像中的每个目标像素点,基于该目标像素点的目标位置,确定分割图像中与该目标位置匹配的像素点的像素值,若该像素值为第一像素值,则确定目标像素点属于前景区域;若该像素值为第二像素值,则确定目标像素点属于背景区域。进而可以利用分割图像和设置的背景替换方案,对待处理图像进行背景替换,生成目标展示图像。
139.一种可选实施方式中,基于分割图像和设置的背景替换方案,对所述待处理图像进行背景替换,生成目标展示图像,可以包括下述两种方式:
140.方式一、将分割图像指示的待处理图像上属于背景区域的待替换像素点的第一像素信息调整为预设像素信息,生成目标展示图像。
141.方式二、将分割图像指示的待处理图像上属于背景区域的待替换像素点的第一像素信息,调整为预设替换图像中与所述待替换像素点的像素位置匹配的候选像素点的第二像素信息,生成目标展示图像。
142.在方式一中,可以预先设置预设像素信息,比如可以设置为预设像素值为0;将分割图像指示的待处理图像中位于背景区域上的待替换像素点的第一像素信息替换为预设像素信息,保持待处理图像中除背景区域之外的前景区域上的前景像素点的像素信息不变,生成目标展示图像。
143.在方式二中,将分割图像指示的待处理图像中位于背景区域上的待替换像素点的第一像素信息,调整为预设替换图像中与待替换像素点的像素位置匹配的候选像素点的第二像素信息;比如,可以将待处理图像上位于第一行第一列的待替换像素点的第一像素信息,调整为预设替换图像中位于第一行第一列的候选像素点的第二像素信息;保持待处理图像中除背景区域之外的前景区域上的前景像素点的像素信息不变,生成目标展示图像。
144.这里,可以通过设置预设像素信息,较为简便的对待处理图像进行背景替换,背景
替换的效率较高。或者,也可以通过确定预设替换图像,通过预设替换图像,较为灵活的对待处理图像进行背景替换,背景替换的趣味性和多样性较高。
145.结合图3对图像处理方法进行示例性说明,该图像处理方法可以包括以下步骤:
146.s301:获取显示设备采集的待处理图像。
147.s302:对待处理图像进行肢体检测,确定待处理图像包括的用户的当前检测框信息。
148.s303:基于当前检测框信息指示的置信度、检测框尺寸、位置信息中的至少一种,对待处理图像中包括的多个当前检测框进行筛选,得到筛选后当前检测框、和筛选后当前检测框对应的当前检测框信息。
149.一种方式中,可以包括s304:针对筛选后的每个当前检测框,基于当前检测框对应的当前检测框信息指示的检测框标识,确定历史帧图像中与检测框标识匹配的历史检测框信息;并基于当前检测框信息、和与检测框标识匹配的历史检测框信息,确定当前检测框对应的目标检测框信息。
150.实施时,针对每个当前检测框,基于当前检测框信息和与检测框标识匹配的历史检测框信息,确定当前检测框对应的目标检测框信息,可以包括:
151.第一、基于当前检测框信息和与检测框标识匹配的历史检测框信息,确定位于同一对角线上的两个顶点的平均坐标信息。
152.第二、将位于同一对角线上的两个顶点分别作为目标顶点,以目标顶点的平均坐标信息为中心、预设长度为半径,确定目标顶点对应的预设区域。
153.第三、检测历史检测框上与目标顶点处于同一方位的历史顶点的历史坐标信息是否位于目标顶点对应的预设区域内。
154.第四、若是,将历史顶点的历史坐标信息,确定为目标顶点的目标坐标信息;若否,将目标顶点的平均坐标信息,确定为目标顶点的目标坐标信息。
155.第五、基于同一对角线上的两个顶点分别对应的目标坐标信息,确定当前检测框对应的目标检测框信息。
156.重复第一至第五的步骤,可以得到各个当前检测框分别对应的目标检测框信息,即得到多个目检测框信息。
157.s305:基于得到的多个目标检测框信息,分别对待处理图像进行背景分割,生成待处理图像对应的分割图像。
158.另一种方式中,可以包括s306:基于筛选后的各个当前检测框信息指示的位置信息,生成包围筛选后的多个当前检测框的中间检测框信息;基于中间检测框信息和历史检测框信息,确定一个目标检测框信息。
159.实施时,基于中间检测框信息和历史检测框信息,确定一个目标检测框信息,可以包括:
160.第一、确定待处理图像中包括的当前检测框的数量与历史帧图像中包括的历史检测框的数量是否匹配。
161.第二、若匹配,则可以基于中间检测框信息和历史检测框信息,确定位于同一对角线上的两个顶点的平均坐标信息;若不匹配,则可以将中间检测框信息,确定为目标检测框信息。
162.第三、在当前检测框的数量与历史帧图像中包括的历史检测框的数量匹配的情况下,将同一对角线上的两个顶点分别作为目标顶点,以目标顶点的平均坐标信息为中心、预设长度为半径,确定目标顶点对应的预设区域。
163.第四、检测历史检测框上与目标顶点处于同一方位的历史顶点的历史坐标信息是否位于目标顶点对应的预设区域内。
164.第五、若是,将历史顶点的历史坐标信息,确定为目标顶点的目标坐标信息;若否,将目标顶点的平均坐标信息,确定为目标顶点的目标坐标信息。
165.第六、基于同一对角线上的两个顶点分别对应的目标坐标信息,确定一个目标检测框信息。
166.s307:基于得到的一个目标检测框信息,对待处理图像进行背景分割,生成待处理图像对应的分割图像。
167.s308:基于分割图像和设置的背景替换方案,对待处理图像进行背景替换,生成目标展示图像。
168.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
169.基于相同的构思,本公开实施例还提供了一种图像处理装置,参见图4所示,为本公开实施例提供的图像处理装置的架构示意图,包括获取模块401、第一确定模块402、第二确定模块403、分割模块404、生成模块405,具体的:
170.获取模块401,用于获取显示设备采集的待处理图像;
171.第一确定模块402,用于对所述待处理图像进行肢体检测,确定所述待处理图像包括的用户的当前检测框信息;
172.第二确定模块403,用于基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息;
173.分割模块404,用于基于所述目标检测框信息,对所述待处理图像进行背景分割,生成所述待处理图像对应的分割图像;所述分割图像用于指示所述待处理图像中的背景区域和前景区域中的至少一项;
174.生成模块405,用于基于所述分割图像和设置的背景替换方案,对所述待处理图像进行背景替换,生成目标展示图像。
175.一种可能的实施方式中,所述生成模块404,在基于所述分割图像和设置的背景替换方案,对所述待处理图像进行背景替换,生成目标展示图像时,用于:
176.将所述分割图像指示的所述待处理图像上属于背景区域的待替换像素点的第一像素信息调整为预设像素信息,生成目标展示图像;或者,
177.将所述分割图像指示的所述待处理图像上属于背景区域的待替换像素点的第一像素信息,调整为预设替换图像中与所述待替换像素点的像素位置匹配的候选像素点的第二像素信息,生成目标展示图像。
178.一种可能的实施方式中,所述当前检测框的数量为多个,所述第二确定模块403,在基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息时,用于:
179.针对所述待处理图像中包括的每个当前检测框,基于所述当前检测框对应的所述当前检测框信息指示的检测框标识,确定所述历史帧图像中与所述检测框标识匹配的历史检测框信息;并基于所述当前检测框信息、和与所述检测框标识匹配的历史检测框信息,确定所述当前检测框对应的目标检测框信息;
180.所述分割模块404,在基于所述目标检测框信息,对所述待处理图像进行背景分割,生成所述待处理图像对应的分割图像时,用于:
181.基于得到的多个目标检测框信息,分别对所述待处理图像进行背景分割,生成所述待处理图像对应的分割图像。
182.一种可能的实施方式中,所述当前检测框的数量为多个,所述装置还包括:筛选模块406,所述筛选模块406用于,在确定所述待处理图像包括的用户的当前检测框信息之后,基于所述当前检测框信息指示的置信度、检测框尺寸、位置信息中的至少一种,对所述待处理图像中包括的多个当前检测框进行筛选,得到筛选后当前检测框、和筛选后当前检测框对应的当前检测框信息;
183.所述第二确定模块403,在基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息时,用于:
184.基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述筛选后当前检测框对应的当前检测框信息,确定目标检测框信息。
185.一种可能的实施方式中,所述当前检测框的数量为多个,所述第二确定模块403,在基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息时,用于:
186.基于各个所述当前检测框信息指示的位置信息,生成包围多个当前检测框的中间检测框信息;
187.基于所述中间检测框信息和所述历史检测框信息,确定目标检测框信息。
188.一种可能的实施方式中,所述第二确定模块403,在基于所述中间检测框信息和所述历史检测框信息,确定目标检测框信息时,用于:
189.响应于所述待处理图像中包括的当前检测框的数量与历史帧图像中包括的历史检测框的数量匹配,基于所述中间检测框信息和所述历史检测框信息,确定至少一组点集对应的平均坐标信息;其中,点集包括处于检测框同一方位的、且分别属于中间检测框以及所述历史检测框的多个顶点;
190.基于得到的所述平均坐标信息,确定所述目标检测框信息。
191.一种可能的实施方式中,在所述至少一组点集包括处于检测框对角关系的两组点集的情况下,所述第二确定模块403,在基于得到的所述平均坐标信息,确定所述目标检测框信息时,用于:
192.针对每组点集,以所述点集对应的平均坐标信息为中心、预设长度为半径,确定所述平均坐标信息指示的目标顶点对应的预设区域;以及
193.在检测到历史检测框上与所述目标顶点处于同一方位的历史顶点的历史坐标信息位于所述目标顶点对应的预设区域的情况下,将所述历史顶点的历史坐标信息,确定为所述目标顶点的目标坐标信息;
194.在检测到历史检测框上与所述目标顶点处于同一方位的历史顶点的历史坐标信
息不位于所述目标顶点对应的预设区域的情况下,将所述目标顶点的平均坐标信息,确定为所述目标顶点的目标坐标信息;
195.基于确定的所述目标坐标信息,确定所述目标检测框信息。
196.在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
197.基于同一技术构思,本公开实施例还提供了一种电子设备。参照图5所示,为本公开实施例提供的电子设备的结构示意图,包括处理器501、存储器502、和总线503。其中,存储器502用于存储执行指令,包括内存5021和外部存储器5022;这里的内存5021也称内存储器,用于暂时存放处理器501中的运算数据,以及与硬盘等外部存储器5022交换的数据,处理器501通过内存5021与外部存储器5022进行数据交换,当电子设备500运行时,处理器501与存储器502之间通过总线503通信,使得处理器501在执行以下指令:
198.获取显示设备采集的待处理图像;
199.对所述待处理图像进行肢体检测,确定所述待处理图像包括的用户的当前检测框信息;
200.基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息;
201.基于所述目标检测框信息,对所述待处理图像进行背景分割,生成所述待处理图像对应的分割图像;所述分割图像用于指示所述待处理图像中的背景区域和前景区域中的至少一项;
202.基于所述分割图像和设置的背景替换方案,对所述待处理图像进行背景替换,生成目标展示图像。
203.其中,处理器501的具体处理流程可以参照上述方法实施例的记载,这里不再赘述。
204.此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
205.本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤,具体可参见上述方法实施例,在此不再赘述。
206.其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(software development kit,sdk)等等。
207.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集
成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
208.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
209.另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
210.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
211.以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。
技术特征:
1.一种图像处理方法,其特征在于,包括:获取显示设备采集的待处理图像;对所述待处理图像进行肢体检测,确定所述待处理图像包括的用户的当前检测框信息;基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息;基于所述目标检测框信息,对所述待处理图像进行背景分割,生成所述待处理图像对应的分割图像;所述分割图像用于指示所述待处理图像中的背景区域和前景区域中的至少一项;基于所述分割图像和设置的背景替换方案,对所述待处理图像进行背景替换,生成目标展示图像。2.根据权利要求1所述的方法,其特征在于,所述基于所述分割图像和设置的背景替换方案,对所述待处理图像进行背景替换,生成目标展示图像,包括如下至少一项:将所述分割图像指示的所述待处理图像上属于背景区域的待替换像素点的第一像素信息调整为预设像素信息,生成目标展示图像;将所述分割图像指示的所述待处理图像上属于背景区域的待替换像素点的第一像素信息,调整为预设替换图像中与所述待替换像素点的像素位置匹配的候选像素点的第二像素信息,生成目标展示图像。3.根据权利要求1或2所述的方法,其特征在于,所述当前检测框的数量为多个,所述基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息,包括:针对所述待处理图像中包括的每个当前检测框,基于所述当前检测框对应的所述当前检测框信息指示的检测框标识,确定所述历史帧图像中与所述检测框标识匹配的历史检测框信息;并基于所述当前检测框信息、和与所述检测框标识匹配的历史检测框信息,确定所述当前检测框对应的目标检测框信息;所述基于所述目标检测框信息,对所述待处理图像进行背景分割,生成所述待处理图像对应的分割图像,包括:基于得到的多个目标检测框信息,分别对所述待处理图像进行背景分割,生成所述待处理图像对应的分割图像。4.根据权利要求1~3任一所述的方法,其特征在于,所述当前检测框的数量为多个,在确定所述待处理图像包括的用户的当前检测框信息之后,所述方法还包括:基于所述当前检测框信息指示的置信度、检测框尺寸、位置信息中的至少一种,对所述待处理图像中包括的多个当前检测框进行筛选,得到筛选后当前检测框、和筛选后当前检测框对应的当前检测框信息;所述基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息,包括:基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述筛选后当前检测框对应的当前检测框信息,确定目标检测框信息。5.根据权利要求1~4任一所述的方法,其特征在于,所述当前检测框的数量为多个,所
述基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息,包括:基于各个所述当前检测框信息指示的位置信息,生成包围多个当前检测框的中间检测框信息;基于所述中间检测框信息和所述历史检测框信息,确定目标检测框信息。6.根据权利要求5所述的方法,其特征在于,所述基于所述中间检测框信息和所述历史检测框信息,确定目标检测框信息,包括:响应于所述待处理图像中包括的当前检测框的数量与历史帧图像中包括的历史检测框的数量匹配,基于所述中间检测框信息和所述历史检测框信息,确定至少一组点集对应的平均坐标信息;其中,点集包括处于检测框同一方位的、且分别属于中间检测框以及所述历史检测框的多个顶点;基于得到的所述平均坐标信息,确定所述目标检测框信息。7.根据权利要求6所述的方法,其特征在于,在所述至少一组点集包括处于检测框对角关系的两组点集的情况下,所述基于得到的所述平均坐标信息,确定所述目标检测框信息,包括:针对每组点集,以所述点集对应的平均坐标信息为中心、预设长度为半径,确定所述平均坐标信息指示的目标顶点对应的预设区域;以及在检测到历史检测框上与所述目标顶点处于同一方位的历史顶点的历史坐标信息位于所述目标顶点对应的预设区域的情况下,将所述历史顶点的历史坐标信息,确定为所述目标顶点的目标坐标信息;在检测到历史检测框上与所述目标顶点处于同一方位的历史顶点的历史坐标信息不位于所述目标顶点对应的预设区域的情况下,将所述目标顶点的平均坐标信息,确定为所述目标顶点的目标坐标信息;基于确定的所述目标坐标信息,确定所述目标检测框信息。8.一种图像处理装置,其特征在于,包括:获取模块,用于获取显示设备采集的待处理图像;第一确定模块,用于对所述待处理图像进行肢体检测,确定所述待处理图像包括的用户的当前检测框信息;第二确定模块,用于基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息;分割模块,用于基于所述目标检测框信息,对所述待处理图像进行背景分割,生成所述待处理图像对应的分割图像;所述分割图像用于指示所述待处理图像中的背景区域和前景区域中的至少一项;生成模块,用于基于所述分割图像和设置的背景替换方案,对所述待处理图像进行背景替换,生成目标展示图像。9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的图像处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的图像处理方法的步骤。
技术总结
本公开提供了一种图像处理方法、装置、电子设备及存储介质,该方法包括:获取显示设备采集的待处理图像;对所述待处理图像进行肢体检测,确定所述待处理图像包括的用户的当前检测框信息;基于所述显示设备采集的历史帧图像对应的历史检测框信息、以及所述当前检测框信息,确定目标检测框信息;基于所述目标检测框信息,对所述待处理图像进行背景分割,生成所述待处理图像对应的分割图像;所述分割图像用于指示所述待处理图像中的背景区域和前景区域中的至少一项;基于所述分割图像和设置的背景替换方案,对所述待处理图像进行背景替换,生成目标展示图像。生成目标展示图像。生成目标展示图像。
技术研发人员:李通 刘文韬 吴尧 钱晨
受保护的技术使用者:北京市商汤科技开发有限公司
技术研发日:2021.11.24
技术公布日:2022/3/7