图像处理方法及装置、存储介质及电子设备与流程

1.本公开涉及计算机技术领域，尤其涉及一种图像处理方法及装置、存储介质及电子设备。


背景技术：

2.在仓库监管中，常常设置有需要监管的目标范围区域，当有对象闯入时，需要进行提示。
3.相关技术中，通常是使用电子光栅等物理设备实现监管。安装难度高，复用率低，且难以区分闯入对象。
4.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.本公开的目的在于提供一种图像处理方法、装置、电子设备及存储介质，以解决安装难度高、复用率低、难以区分闯入对象的类型的问题。
6.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
7.根据本公开的一个方面，提供一种图像处理方法，包括：获取当前时刻的仓库图像，当前时刻的仓库图像中包括目标范围区域；利用目标检测模型检测当前时刻的仓库图像；其中，目标检测模型是基于包括目标对象的历史仓库图像训练得到的；当检测出当前时刻的仓库图像中存在目标对象时，确定目标对象的对象区域；确定对象区域和目标范围区域的位置关系；根据对象区域和目标范围区域的位置关系生成提示信息。
8.在本公开一个实施例中，本公开提供的图像处理方法还包括：展示初始仓库图像，初始仓库图像中包括目标物体；接收对目标物体的圈选操作；
9.根据圈选操作对应的坐标信息生成目标范围区域。
10.在本公开一个实施例中，在利用目标检测模型检测当前时刻的仓库图像之前，还包括：获取上一时刻的仓库图像；利用帧差法对上一时刻的仓库图像和当前时刻的仓库图像进行对比处理，得到对比结果；当对比结果为当前时刻的仓库图像相比于上一时刻的仓库图像存在变动区域时，调用目标检测模型。
11.在本公开一个实施例中，还包括：当对比结果为当前时刻的仓库图像相比于上一时刻的仓库图像不存在变动区域时，在下一时刻获取下一时刻的仓库图像。
12.在本公开一个实施例中，在确定对象区域和目标范围区域的位置关系之前，还包括：确认变动区域与对象区域存在重合；以及，若变动区域与对象区域不存在重合，则在下一时刻获取下一时刻的仓库图像。
13.在本公开一个实施例中，目标对象的类型包括：人体和运输设备；目标检测模型是按如下方式训练的：获取包括目标对象的历史仓库图像，历史仓库图像为一个或多个影像
采集设备采集得到的图像；从历史仓库图像中选取第一数量的图像以作为目标检测模型的训练集，从历史仓库图像中选取第二数量的图像以作为目标检测模型的验证集；利用图像标注工具识别训练集和验证集中图像上的人体和/或运输设备，以作为训练集和验证集中图像的分类标签；根据具有分类标签的训练集和验证集训练目标检测模型。
14.在本公开一个实施例中，本公开提供的图像处理方法还包括：目标检测模型训练完成后，将目标检测模型部署至仓库中的边缘计算单元。
15.在本公开一个实施例中，提示信息包括提示框；以及，根据对象区域和目标范围区域的位置关系生成提示信息，包括：当位置关系为重合时，分别在对象区域和目标范围区域上显示第一颜色的提示框；当位置关系为不重合，在对象区域上显示第二颜色的提示框。
16.在本公开一个实施例中，提示信息包括文字提示信息；以及，根据对象区域和目标范围区域的位置关系生成提示信息，包括：当位置关系为重合时，确定对象区域对应的目标对象的类型；显示与目标对象的类型对应的文字提示信息。
17.根据本公开的另一个方面，提供一种图像处理装置，包括：获取模块，用于获取当前时刻的仓库图像，当前时刻的仓库图像中包括目标范围区域；检测模块，用于利用目标检测模型检测当前时刻的仓库图像；其中，目标检测模型是基于包括目标对象的历史仓库图像训练得到的；确定模块，用于当检测出当前时刻的仓库图像中存在目标对象时，确定目标对象的对象区域；确定模块还用于确定对象区域和目标范围区域的位置关系；提示模块，用于根据对象区域和目标范围区域的位置关系生成提示信息。
18.在本公开一个实施例中，本公开提供的图像处理装置还包括圈选模块，所述圈选模块用于：展示初始仓库图像，初始仓库图像中包括目标物体；接收对目标物体的圈选操作；根据圈选操作对应的坐标信息生成目标范围区域。
19.在本公开一个实施例中，检测模块在利用目标检测模型检测当前时刻的仓库图像之前，还用于：获取上一时刻的仓库图像；利用帧差法对上一时刻的仓库图像和当前时刻的仓库图像进行对比处理，得到对比结果；当对比结果为当前时刻的仓库图像相比于上一时刻的仓库图像存在变动区域时，调用目标检测模型。
20.在本公开一个实施例中，检测模块还用于：当对比结果为当前时刻的仓库图像相比于上一时刻的仓库图像不存在变动区域时，在下一时刻获取下一时刻的仓库图像。
21.在本公开一个实施例中，确定模块在确定对象区域和目标范围区域的位置关系之前，还用于：确认变动区域与对象区域存在重合；以及，若变动区域与对象区域不存在重合，则在下一时刻获取下一时刻的仓库图像。
22.在本公开一个实施例中，本公开提供的图像处理装置还包括训练模块，用于训练目标检测模型；目标对象的类型包括：人体和运输设备；目标检测模型是按如下方式训练的：获取包括目标对象的历史仓库图像，历史仓库图像为一个或多个影像采集设备采集得到的图像；从历史仓库图像中选取第一数量的图像以作为目标检测模型的训练集，从历史仓库图像中选取第二数量的图像以作为目标检测模型的验证集；利用图像标注工具识别训练集和验证集中图像上的人体和/或运输设备，以作为训练集和验证集中图像的分类标签；根据具有分类标签的训练集和验证集训练目标检测模型。
23.在本公开一个实施例中，本公开提供的图像处理装置还包括部署模块，用于在目标检测模型训练完成后，将目标检测模型部署至仓库中的边缘计算单元。
24.在本公开一个实施例中，提示信息包括提示框；以及，提示模块根据对象区域和目标范围区域的位置关系生成提示信息，包括：当位置关系为重合时，分别在对象区域和目标范围区域上显示第一颜色的提示框；当位置关系为不重合，在对象区域上显示第二颜色的提示框。
25.在本公开一个实施例中，提示信息包括文字提示信息；以及，提示模块根据对象区域和目标范围区域的位置关系生成提示信息，包括：当位置关系为重合时，确定对象区域对应的目标对象的类型；显示与目标对象的类型对应的文字提示信息。
26.根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像处理方法。
27.根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的图像处理方法。
28.本公开的实施例所提供的图像处理方法，能够利用机器学习的方法监控仓库，精准识别仓库中是否出现目标对象，并在确定出现目标对象后进一步确定目标对象与目标范围区域的位置关系进而自动生成提示信息，此外本方法中的目标范围区域和目标对象可灵活设置，易于实现并且复用率高。
29.进一步，本公开实施例提供的图像处理方法还可以在仓库现场设置边缘计算单元，以减少网络传输压力。
30.进一步，本公开实施例提供的图像处理方法还可以基于检测出的目标对象的类型生成提示信息，有助于区分出目标对象的类型。
31.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
32.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1示出了可以应用本公开实施例的图像处理方法的示例性系统架构的示意图。
34.图2示出了本公开一个实施例的图像处理方法的流程图。
35.图3示出了本公开一个实施例的图像处理方法中确定目标范围区域的流程图。
36.图4示出了本公开一个实施例的图像处理方法的流程图。
37.图5示出了本公开一个实施例的图像处理方法中生成提示信息的示意图。
38.图6示出了本公开一个实施例的图像处理装置的框图。
39.图7示出了本公开实施例中一种图像处理计算机设备的结构框图。
具体实施方式
40.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加
全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
41.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
42.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
43.针对上述相关技术中存在的技术问题，本公开实施例提供了一种图像处理方法，以用于至少解决上述技术问题中的一个或者全部。
44.图1示出了可以应用本公开实施例的图像处理方法的示例性系统架构的示意图。
45.如图1所示，该系统架构可以包括服务器101、网络102和客户端103。网络102用以在客户端103和服务器101之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
46.服务器101可以是提供各种服务的服务器，例如对用户利用客户端203所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对业务系统或影像采集设备发送的图像数据进行统一接收、进行分析等处理，并将处理结果反馈给客户端103。
47.在一些可选的实施例中，服务器101可以获取当前时刻的仓库图像，当前时刻的仓库图像中包括目标范围区域；服务器101可以利用目标检测模型检测当前时刻的仓库图像；其中，目标检测模型是基于包括目标对象的历史仓库图像训练得到的；当检测出当前时刻的仓库图像中存在目标对象时，服务器101可以确定目标对象的对象区域；服务器101可以确定对象区域和目标范围区域的位置关系；服务器101可以根据对象区域和目标范围区域的位置关系生成提示信息。在本公开中，服务器101可以设置在仓库中，例如服务器101可以是仓库中的边缘计算单元或仓库中的计算机。
48.客户端103可以是手机、游戏主机、平板电脑、电子书阅读器、智能眼镜、智能家居设备、ar(augmented reality，增强现实)设备、vr(virtual reality，虚拟现实)设备等移动终端，或者，客户端103也可以是个人计算机，比如膝上型便携计算机和台式计算机等等。
49.客户端103还可以为操作人员提供数据查询、数据导出、数据分析、数据展示等功能，例如，客户端103可以通过操作界面向操作人员展示仓库图像，还可以向操作人员提供对仓库图像中目标物体的圈选功能；操作人员可以在客户端103展示的操作界面中对仓库图像中的目标物体进行圈选操作，以使客户端103响应于操作人员的圈选操作生成目标范围区域，并将目标范围区域发送至服务器101。
50.应该理解，图1中的客户端、网络和服务器的数目仅仅是示意性的，服务器101可以是一个实体的服务器，还可以为多个服务器组成的服务器集群，还可以是云端服务器，根据实际需要，可以具有任意数目的客户端、网络和服务器。
51.下面，将结合附图及实施例对本公开示例实施例中的图像处理方法的各个步骤进
行更详细的说明。
52.图2示出了本公开一个实施例的图像处理方法的流程图。本公开实施例提供的方法可以由如图1所示的服务器或客户端中执行，但本公开并不限定于此。
53.在下面的举例说明中，以服务器集群101为执行主体进行示例说明。
54.如图2所示，本公开实施例提供的图像处理方法可以包括以下步骤：
55.步骤s201，获取当前时刻的仓库图像，当前时刻的仓库图像中包括目标范围区域。
56.仓库图像可以是影像采集设备对指定仓库采集的影像；例如，影像采集设备可以时在仓库中安装设置的摄像头、摄像机、照相设备等，安装设置好影像采集设备后，可以使用影像采集设备对仓库进行拍摄或录像进而生成仓库图像。仓库中可以包含目标范围区域，仓库中的目标范围区域可以是预先设定的，也可以是从其他系统中获取得到的；例如，目标范围区域可以是仓库中的自动生产区、货物存放区、货物传输区等。
57.步骤s203，利用目标检测模型检测当前时刻的仓库图像；其中，目标检测模型是基于包括目标对象的历史仓库图像训练得到的。
58.进一步地，在一些实施例中，目标对象的类型可以包括人体和运输设备，在一些实际应用中目标对象的类型还可以包括动物体。例如，目标对象可以是儿童、成年人、老年人、agv(automated guided vehicle，自动导引运输车)、无人叉车、人工叉车、猫、狗等。目标检测模型可以是能检测出目标对象的机器学习模型，在一些实际应用中，可以先选取一种机器学习模型构建初始的目标检测模型，再指定出需要识别的目标对象的类型，进而获取包含有指定类型的目标对象的图像数据，利用这些图像数据训练得到训练目标检测模型，使得训练好的目标检测模型能够识别图像中指定类型的目标对象。其中，目标对象的类型可以根据实际生产环境进行指定。
59.步骤s205，当检测出当前时刻的仓库图像中存在目标对象时，确定目标对象的对象区域。
60.当使用训练好的目标检测模型检测出当前时刻的仓库图像中存在目标对象时，可以进一步确定目标对象所占的区域，以作为对象区域。例如，可以将目标对象对应的轮廓作为对象区域，也可以根据目标对象的影像生成一个外接矩阵作为对象区域。
61.进一步地，在一些实际应用中，当检测出当前时刻的仓库图像中不存在目标对象时，可以认为无需对当前时刻的仓库图像进行提示，即无需对当前时刻的仓库图像继续处理，可以在下一时刻获取下一时刻的仓库图像，以使用本公开提供的图像处理方法进行处理。
62.步骤s207，确定对象区域和目标范围区域的位置关系。
63.对象区域和目标范围区域的位置关系可以包括重合和不重合。在一些实际应用中，可以将对象区域和目标范围区域不存在重合时的位置关系确定为不重合，将对象区域和目标范围区域存在重合时的位置关系确定为重合。在又一些实际应用中，也可以先判断对象区域和目标范围区域是否存在重合，当不存在重合时，可以确定位置关系为不重合；当对象区域和目标范围区域存在重合时，可以进一步计算重合部分的面积，计算重合部分的面积占据对象区域面积的第一百分比，以及计算重合部分的面积占据目标范围区域面积的第二百分比，再将第一百分比和第二百分比分别与预设置的重合阈值进行比较，最终确定对象区域和目标范围区域的位置关系；其中，重合阈值可以根据当前生产环境进行设定。进
一步举例而言，可以设定当第一百分比和第二百分比都小于重合阈值时，确定对象区域和目标范围区域的位置关系为不重合；当第一百分比和第二百分比中存在任一项大于或等于重合阈值时，确定对象区域和目标范围区域的位置关系为重合。
64.例如，当计算出第一百分比为5％、第二百分比为10％、获取到当前仓库对应的重合阈值为15％时，可以根据5％＜15％，以及10％＜15％确定出对象区域和目标范围区域的位置关系为不重合。
65.步骤s209，根据对象区域和目标范围区域的位置关系生成提示信息。
66.提示信息的形式可以是文字、声音、画面、光效等，可以根据具体生产环境进行设定。如：可以生成“危险”字样作为提示信息，可以调用灯光设备开启红光闪烁作为提示信息，也可以发出告警声音作为提示信息。
67.通过本公开提供的图像处理方法，可以先获取包括目标范围区域的仓库图像，并利用基于目标对象进行训练的目标检测模型对获取到的仓库图像进行检测，当检测出仓库图像中包括目标对象时，可以确定目标对象的对象区域与仓库图像中目标范围区域的位置关系，进而根据位置关系生成提示信息。可见，本公开提供的图像处理方法可以利用机器学习的方法监控仓库，精准识别仓库中是否出现目标对象，并在确定出现目标对象后进一步确定目标对象与目标范围区域的位置关系进而自动生成提示信息，本方法中的目标范围区域和目标对象可灵活设置，易于实现且复用率高。
68.图3示出了本公开一个实施例的图像处理方法中确定目标范围区域的流程图，如图3所示，包括：
69.步骤s301，展示初始仓库图像，初始仓库图像中包括目标物体。
70.初始仓库图像可以是在指定时刻对仓库拍摄得到的仓库图像，例如，在每天的早上8点拍摄的仓库图像。初始仓库图像也可以是从其他系统获取到的基准仓库图像。目标物体可以是根据实际生产环境进行设定的，例如，目标物体可以是仓库中的货物，可以是仓库中的生产设备，也可以是仓库中的一块区域。可以在拍摄得到初始仓库图像后，展示在客户端的操作界面中，以供用户使用。
71.步骤s303，接收对目标物体的圈选操作。
72.可以在客户端的操作界面中为用户提供实现圈选功能的工具，如：画笔工具或涂抹工具等；以画笔工具为例进行说明，用户可以在初始仓库图像上直接画曲线或直线段以圈选出一个范围区域；用户也可以使用画笔点出关键点，进而根据关键点进行连线以圈选出一个范围区域。
73.步骤s305，根据圈选操作对应的坐标信息生成目标范围区域。
74.可以解析用户的圈选操作，得到圈选出的范围区域的全部坐标信息，再根据坐标信息生成目标范围区域。
75.在一些实施例中，在利用目标检测模型检测当前时刻的仓库图像之前，还包括：获取上一时刻的仓库图像；利用帧差法对上一时刻的仓库图像和当前时刻的仓库图像进行对比处理，得到对比结果；当对比结果为当前时刻的仓库图像相比于上一时刻的仓库图像存在变动区域时，调用目标检测模型。
76.进一步地，在一些实施例中，还包括：当对比结果为当前时刻的仓库图像相比于上一时刻的仓库图像不存在变动区域时，在下一时刻获取下一时刻的仓库图像。
77.当前时刻和上一时刻的时间差可以根据实际情况进行设定或调整，如每3秒获取一次仓库图像、每5秒获取一次仓库图像等。可以利用影像采集设备的定时抓拍功能获取不同时刻的仓库图像。本公开实施例中，可以在利用目标检测模型检测当前时刻的仓库图像之前先使用帧差法对上一时刻的仓库图像和当前时刻的仓库图像进行对比，当对比出不存在变动区域时，可以认为无需对当前时刻的仓库图像继续处理，可以在下一时刻获取下一时刻的仓库图像继续处理。由于相比于深度模型的处理方式，帧差法所占用的计算资源更少、运算效率更高，故而本步骤中先使用帧差法排除掉无需处理的图像，可以提升整体的运算效率，节省计算资源消耗。
78.在一些实施例中，在确定对象区域和目标范围区域的位置关系之前，还包括：确认变动区域与对象区域存在重合；以及，若变动区域与对象区域不存在重合，则在下一时刻获取下一时刻的仓库图像。
79.可以判断变动区域与使用目标检测模型得到的目标对象的对象区域是否重合，当存在重合时，可以认为当前的仓库相比于上一时刻的仓库而言，存在闯入的目标对象，而当判断出变动区域与对象区域不存在重合时，可以认为当前时刻的仓库与上一时刻的仓库相比发生变动的区域中不存在闯入的目标对象，则可以认为当前时刻的仓库是不需要进行提示的，无需再对当前时刻的仓库图像继续处理，可以在下一时刻获取下一时刻的仓库图像，以使用本公开提供的图像处理方法进行处理。本步骤中通过变动区域与对象区域进行匹配，可以提高目标检测模型检测的准确率，防止误报。
80.图4示出了本公开一个实施例的图像处理方法的流程图，如图4所示，包括：
81.步骤s401，输入仓库图像。其中，仓库图像可以是从影像采集设备处获取的，本实施例中可以将仓库图像输入至能提供上述图像处理方法功能的服务器中。
82.步骤s403，识别变动及变动区域是否存在。可以先获取上一时刻的仓库图像，通过帧差法对比以识别变动及变动区域是否存在。若是，则执行步骤s405；若否，则执行步骤s401，即：可以在下一时刻输入下一时刻的仓库图像。
83.步骤s405，检测是否存在目标对象。可以调用训练好的目标检测模型进行检测以判断是否存在目标对象。若是，则执行步骤s407；若否，则执行步骤s401，即：可以在下一时刻输入下一时刻的仓库图像。
84.步骤s407，判断对象区域与变动区域是否重合。若是，则执行步骤s409；若否，则执行步骤s401，即：可以在下一时刻输入下一时刻的仓库图像。
85.步骤s409，确定对象区域与目标范围区域的位置关系。位置关系可以包括重合和不重合。
86.步骤s411，根据位置关系触发提示信息。
87.可见，如实施例图4提供的图像处理方法，可以实现对图像的自动识别处理，即可以识别仓库中是否出现目标对象，并可以在确定出现目标对象后进一步确定目标对象与目标范围区域的位置关系，进而自动生成提示信息。其中，可以通过多种判断步骤来处理仓库图像，并在判断结果为预设情况时及时停止判断，达到节省计算资源的效果。
88.在一些实施例中，目标检测模型是按如下方式训练的：获取包括目标对象的历史仓库图像，历史仓库图像为一个或多个影像采集设备采集得到的图像；从历史仓库图像中选取第一数量的图像以作为目标检测模型的训练集，从历史仓库图像中选取第二数量的图
像以作为目标检测模型的验证集；利用图像标注工具识别训练集和验证集中图像上的人体和/或运输设备，以作为训练集和验证集中图像的分类标签；根据具有分类标签的训练集和验证集训练目标检测模型。
89.其中，目标检测模型可以是faster r-cnn、ssd和yolo等神经网络模型，本公开对此不做限定；图像标注工具可以例如是lableme工具。本公开实施例中目标检测模型的训练方法可以采用训练深度学习模型的一般方式，例如：采用有监督的方式进行学习，设定目标检测的损失函数，通过随机梯度下降的方式，不断迭代更新目标检测模型的参数，最终使得在验证集上损失函数最小的参数，即为最终训练好的目标检测模型的参数。
90.在一些实施例中，本公开提供的图像处理方法还包括：在目标检测模型训练完成后，将目标检测模型部署至仓库中的边缘计算单元。
91.边缘计算单元以使如边缘盒子等设备。在一些实际应用中，可以在仓库中放置一个计算单元，例如rk3399这样的板卡。使用边缘计算单元可以实现边缘计算，在仓库现场设置边缘计算单元可以减少网络传输压力；并且，对于实时监控的场景，边缘计算单元的计算方式相比于云计算的方式，更能保证传输的稳定性，节省网络传输资源，缓解网络带宽压力。
92.在一些实施例中，提示信息可以包括提示框；以及，根据对象区域和目标范围区域的位置关系生成提示信息，包括：当位置关系为重合时，分别在对象区域和目标范围区域上显示第一颜色的提示框；当位置关系为不重合，在对象区域上显示第二颜色的提示框。
93.进一步地，在又一些实施例中，提示信息也包括文字提示信息；以及，根据对象区域和目标范围区域的位置关系生成提示信息，包括：当位置关系为重合时，确定对象区域对应的目标对象的类型；显示与目标对象的类型对应的文字提示信息。
94.第一颜色和第二颜色可以是根据实际生产环境进行调整设置的，如：第一颜色为红色、第二颜色为绿色等。提示框可以利用lableme等图像标注工具生成，此外，还可以在提示框上标注出目标对象的具体类型。对于不同类型的目标对象，可以展示不同的文字提示信息，例如：对于人体，可以展示如“警告！人闯入”的文字提示信息；对于运输设备图叉车，可以展示如“警告！叉车闯入”的文字提示信息。在一些实际应用中，可以为不同类型的目标对象设置提示等级，例如，可以将叉车闯入的提示等级设置为高级，将人闯入的提示等级设置为低级，当叉车闯入时，可以调用高级对应的提示方式；当人闯入时，可以调用低级对应的提示方式；高级对应的提示方式相比于低级对应的提示方式可以设置为更容易引起工作人员注意的方式，如频率更高的灯光闪烁、分贝更大的声音提示，进而可以有助于区分出闯入的目标对象的类型。
95.图5示出了本公开一个实施例的图像处理方法中生成提示信息的示意图，如图5所示，包括：目标范围区域501，文字提示信息502，与目标范围区域501存在重合的目标对象503，与目标范围区域501存在重合的目标对象504和目标对象505。
96.其中，目标范围区域501可以认为是仓库中的货物存放区；如图5所示，当根据当前的仓库图像检测到目标对象503与目标范围区域501存在重合时，可以生成文字提示信息502，文字提示信息502可以包括“警告！叉车闯入”的字样。对于目标对象503、504、505，还可以在各自的提示框上标注出其类型，如对于目标对象503，可以显示“叉车”字样。
97.此外，对于与目标范围区域501存在重合的目标对象503，可以在目标对象503的提
示框上显示第一颜色；对于未与目标范围区域501存在重合的目标对象504和505，可以在目标对象504和505的提示框上显示第二颜色，以用于区分。
98.需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
99.图6示出本公开第五实施例中一种图像处理装置600的框图；如图6所示，包括：
100.根据本公开的另一个方面，提供一种图像处理装置，包括：获取模块601，用于获取当前时刻的仓库图像，当前时刻的仓库图像中包括目标范围区域；检测模块602，用于利用目标检测模型检测当前时刻的仓库图像；其中，目标检测模型是基于包括目标对象的历史仓库图像训练得到的；确定模块603，用于当检测出当前时刻的仓库图像中存在目标对象时，确定目标对象的对象区域；确定模块还用于确定对象区域和目标范围区域的位置关系；提示模块604，用于根据对象区域和目标范围区域的位置关系生成提示信息。
101.在一些实施例中，本公开提供的图像处理装置还包括圈选模块605，所述圈选模块用于：展示初始仓库图像，初始仓库图像中包括目标物体；接收对目标物体的圈选操作；根据圈选操作对应的坐标信息生成目标范围区域。
102.在一些实施例中，检测模块在利用目标检测模型检测当前时刻的仓库图像之前，还用于：获取上一时刻的仓库图像；利用帧差法对上一时刻的仓库图像和当前时刻的仓库图像进行对比处理，得到对比结果；当对比结果为当前时刻的仓库图像相比于上一时刻的仓库图像存在变动区域时，调用目标检测模型。
103.在一些实施例中，检测模块还用于：当对比结果为当前时刻的仓库图像相比于上一时刻的仓库图像不存在变动区域时，在下一时刻获取下一时刻的仓库图像。
104.在一些实施例中，确定模块在确定对象区域和目标范围区域的位置关系之前，还用于：确认变动区域与对象区域存在重合；以及，若变动区域与对象区域不存在重合，则在下一时刻获取下一时刻的仓库图像。
105.在一些实施例中，本公开提供的图像处理装置还包括训练模块606，用于训练目标检测模型；目标对象的类型包括：人体和运输设备；目标检测模型是按如下方式训练的：获取包括目标对象的历史仓库图像，历史仓库图像为一个或多个影像采集设备采集得到的图像；从历史仓库图像中选取第一数量的图像以作为目标检测模型的训练集，从历史仓库图像中选取第二数量的图像以作为目标检测模型的验证集；利用图像标注工具识别训练集和验证集中图像上的人体和/或运输设备，以作为训练集和验证集中图像的分类标签；根据具有分类标签的训练集和验证集训练目标检测模型。
106.在一些实施例中，本公开提供的图像处理装置还包括部署模块607，用于在目标检测模型训练完成后，将目标检测模型部署至仓库中的边缘计算单元。
107.在一些实施例中，提示信息包括提示框；以及，提示模块604根据对象区域和目标范围区域的位置关系生成提示信息，包括：当位置关系为重合时，分别在对象区域和目标范围区域上显示第一颜色的提示框；当位置关系为不重合，在对象区域上显示第二颜色的提示框。
108.在一些实施例中，提示信息包括文字提示信息；以及，提示模块604根据对象区域和目标范围区域的位置关系生成提示信息，包括：当位置关系为重合时，确定对象区域对应
的目标对象的类型；显示与目标对象的类型对应的文字提示信息。
109.可见，实施图6所示的装置，可以先获取包括目标范围区域的仓库图像，并利用基于目标对象进行训练的目标检测模型对获取到的仓库图像进行检测，当检测出仓库图像中包括目标对象时，可以确定目标对象的对象区域与仓库图像中目标范围区域的位置关系，进而根据位置关系生成提示信息。可见，本公开提供的图像处理方法可以利用机器学习的方法监控仓库，精准识别仓库中是否出现目标对象，并在确定出现目标对象后进一步确定目标对象与目标范围区域的位置关系进而自动生成提示信息，本方法中的目标范围区域和目标对象可灵活设置，易于实现且复用率高。
110.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
111.所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
112.图7示出本公开实施例中一种图像处理计算机设备的结构框图。需要说明的是，图示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
113.下面参照图7来描述根据本发明的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
114.如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730。
115.其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元710执行，使得所述处理单元710执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元710可以执行如图2中所示的图像处理方法。
116.存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元(rom)7203。
117.存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
118.总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
119.电子设备700也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器760通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不
限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
120.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
121.在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
122.根据本发明实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
123.所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
124.计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
125.可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
126.可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
127.应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单
元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
128.此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
129.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
130.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

技术特征：
1.一种图像处理方法，其特征在于，包括：获取当前时刻的仓库图像，所述当前时刻的仓库图像中包括目标范围区域；利用目标检测模型检测所述当前时刻的仓库图像；其中，所述目标检测模型是基于包括目标对象的历史仓库图像训练得到的；当检测出所述当前时刻的仓库图像中存在目标对象时，确定所述目标对象的对象区域；确定所述对象区域和所述目标范围区域的位置关系；根据所述对象区域和所述目标范围区域的位置关系生成提示信息。2.根据权利要求1所述的方法，其特征在于，还包括：展示初始仓库图像，所述初始仓库图像中包括目标物体；接收对所述目标物体的圈选操作；根据所述圈选操作对应的坐标信息生成所述目标范围区域。3.根据权利要求1所述的方法，其特征在于，在利用目标检测模型检测所述当前时刻的仓库图像之前，所述方法还包括：获取上一时刻的仓库图像；利用帧差法对所述上一时刻的仓库图像和所述当前时刻的仓库图像进行对比处理，得到对比结果；当所述对比结果为所述当前时刻的仓库图像相比于所述上一时刻的仓库图像存在变动区域时，调用所述目标检测模型。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：当所述对比结果为所述当前时刻的仓库图像相比于所述上一时刻的仓库图像不存在变动区域时，在下一时刻获取下一时刻的仓库图像。5.根据权利要求3所述的方法，其特征在于，在确定所述对象区域和所述目标范围区域的位置关系之前，所述方法还包括：确认所述变动区域与所述对象区域存在重合；以及，若所述变动区域与所述对象区域不存在重合，则在下一时刻获取下一时刻的仓库图像。6.根据权利要求1所述的方法，其特征在于，所述目标对象的类型包括：人体和运输设备；所述目标检测模型是按如下方式训练的：获取包括所述目标对象的历史仓库图像，所述历史仓库图像为一个或多个影像采集设备采集得到的图像；从所述历史仓库图像中选取第一数量的图像以作为所述目标检测模型的训练集，从所述历史仓库图像中选取第二数量的图像以作为所述目标检测模型的验证集；利用图像标注工具识别所述训练集和所述验证集中图像上的人体和/或运输设备，以作为所述训练集和所述验证集中图像的分类标签；根据具有所述分类标签的所述训练集和所述验证集训练所述目标检测模型。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：在所述目标检测模型训练完成后，将所述目标检测模型部署至仓库中的边缘计算单元。
8.根据权利要求6所述的方法，其特征在于，所述提示信息包括提示框；以及，根据所述对象区域和所述目标范围区域的位置关系生成提示信息，包括：当所述位置关系为重合时，分别在所述对象区域和所述目标范围区域上显示第一颜色的提示框；当所述位置关系为不重合，在所述对象区域上显示第二颜色的提示框。9.根据权利要求6所述的方法，其特征在于，所述提示信息包括文字提示信息；以及，根据所述对象区域和所述目标范围区域的位置关系生成提示信息，包括：当所述位置关系为重合时，确定所述对象区域对应的目标对象的类型；显示与目标对象的类型对应的文字提示信息。10.一种图像处理装置，其特征在于，包括：获取模块，用于获取当前时刻的仓库图像，所述当前时刻的仓库图像中包括目标范围区域；检测模块，用于利用目标检测模型检测所述当前时刻的仓库图像；其中，所述目标检测模型是基于包括目标对象的历史仓库图像训练得到的；确定模块，用于当检测出所述当前时刻的仓库图像中存在目标对象时，确定所述目标对象的对象区域；所述确定模块还用于确定所述对象区域和所述目标范围区域的位置关系；提示模块，用于根据所述对象区域和所述目标范围区域的位置关系生成提示信息。11.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1至9任一项所述的图像处理方法。12.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至9任一项所述的图像处理方法。

技术总结
本公开提供了一种图像处理方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：获取当前时刻的仓库图像，当前时刻的仓库图像中包括目标范围区域；利用目标检测模型检测当前时刻的仓库图像；当检测出当前时刻的仓库图像中存在目标对象时，确定目标对象的对象区域；确定对象区域和目标范围区域的位置关系；根据对象区域和目标范围区域的位置关系生成提示信息。该方法可以利用机器学习的方法监控仓库，精准识别仓库中是否出现目标对象，并在确定出现目标对象后进一步确定目标对象与目标范围区域的位置关系进而自动生成提示信息，本方法中的目标范围区域和目标对象可灵活设置，易于实现且复用率高。易于实现且复用率高。易于实现且复用率高。


技术研发人员：谢庆喜
受保护的技术使用者：京东科技信息技术有限公司
技术研发日：2021.12.06
技术公布日：2022/3/8