一种开挖量实时监测方法、装置、设备和介质与流程

本技术实施例涉及土石方明挖，特别是涉及一种开挖量实时监测方法、装置、设备和介质。

背景技术：

1、土石方明挖作业是一种很常见的施工作业类型，开挖量的实时监测有助于及时跟进现场施工进度，辅助制定短期的开挖施工方案布置、及时调度入场施工机械数量。

2、相关技术中开挖量的计算方法，在工程施工阶段，通常在开挖前、开挖后采用无人机倾斜摄影方式获取数字高程模型，或采用三维激光扫描技术获取空间点云数据，来实现开挖量的计算。

3、上述现场测量方式不仅需要花费一定的人力和数据采集成本，还存在数据的处理时间长、实时性差的不足。

技术实现思路

1、本技术实施例提供了一种开挖量实时监测方法，能够基于视频流图像的分析，以较低成本和较快速度实现土石方开挖量的实时监测。

2、相应的，本技术实施例还提供了一种开挖量实时监测装置、一种电子设备和一种机器可读介质，用以保证上述方法的实现及应用。

3、为了解决上述问题，本技术实施例公开了一种开挖量实时监测方法，包括：

4、采集待统计施工区域的视频流图像；

5、对所述视频流图像进行目标检测，以得到所述视频流图像中包含的挖掘设备对应的第一目标信息、以及所述视频流图像中包含的自卸设备对应的第二目标信息；

6、根据所述第一目标信息和所述第二目标信息，确定所述视频流图像中的n个目标区域；n为正整数；

7、针对n个目标区域中的当前目标区域，根据所述当前目标区域中挖掘设备的作业状态、所述当前目标区域中是否包含自卸设备、以及当前目标区域中挖掘设备与自卸设备之间的位置关系，确定所述当前目标区域的开挖作业状态；所述开挖作业状态包括：未开挖状态、开挖中状态和装载中状态中的一种；

8、在当前目标区域的开挖作业状态从装载中状态更新为未开挖状态或开挖中状态的情况下，认为当前目标区域完成当前次装载，根据当前目标区域中自卸设备对应的额定装载容量，确定当前目标区域的当前次装载对应的开挖量，并更新当前目标区域的累计开挖量；

9、根据所述n个目标区域中所有当前目标区域的累计开挖量，确定待统计施工区域对应的总实时开挖方量。

10、本技术实施例还公开了一种开挖量实时监测装置，所述装置包括：

11、采集模块，用于采集视频流图像；

12、目标检测模块，用于对所述视频流图像进行目标检测，以得到所述视频流图像中包含的挖掘设备对应的第一目标信息、以及所述视频流图像中包含的自卸设备对应的第二目标信息；

13、目标区域确定模块，用于根据所述第一目标信息和所述第二目标信息，确定所述视频流图像中的n个目标区域；n为正整数；

14、开挖作业状态确定模块，用于针对n个目标区域中的当前目标区域，根据所述当前目标区域中挖掘设备的状态、所述当前目标区域中是否包含自卸设备、以及当前目标区域中挖掘设备与自卸设备之间的位置关系，确定所述当前目标区域的开挖作业状态；所述开挖作业状态包括：未开挖状态、开挖中状态和装载中状态中的一种；

15、目标区域开挖量确定模块，用于在当前目标区域的作业状态从装载中状态更新为未开挖状态或开挖中状态的情况下，认为当前目标区域完成当前次装载，根据当前目标区域中自卸设备对应的额定装载容量，确定当前目标区域的当前次装载对应的开挖量，并更新当前目标区域的累计开挖量；

16、待统计施工区域开挖量确定模块，用于根据所述n个目标区域中所有当前目标区域的累计开挖量，确定待统计施工区域对应的总实时开挖方量。

17、可选地，所述第一目标信息包括：第一边界框，所述第二目标信息包括：第二边界框；

18、所述目标区域确定模块包括：

19、目标区域数量确定模块，用于根据第一边界框的数量n，确定目标区域的数量n；

20、边界框匹配模块，用于对第一边界框与第二边界框进行一对一匹配，以得到对应的匹配结果；

21、第一确定模块，用于若第一边界框存在与其相匹配的第二边界框，则将同时包含第一边界框和第二边界框的最小闭包矩形区域，作为目标区域；

22、第二确定模块，用于若第一边界框不存在与其相匹配的第二边界框，则将第一边界框对应的矩形区域作为目标区域。

23、可选地，所述边界框匹配模块包括：

24、距离交并比指标值确定模块，用于确定一个第一边界框与一个第二边界框之间的距离交并比指标值；

25、匹配确定模块，用于根据一个第一边界框与多个第二边界框之间的距离交并比指标值，从多个第二边界框中选取距离交并比指标值最大的一个，作为与第一边界框相匹配的第二边界框。

26、可选地，所述开挖作业状态确定模块包括：

27、第一判断模块，用于判断所述当前目标区域包含的挖掘设备是否处于静止状态，以得到第一判断结果；

28、第一判定模块，用于若第一判断结果为是，则判定当前目标区域的开挖作业状态为未开挖状态；

29、第二判断模块，用于若第一判断结果为否，则判断当前目标区域中是否包含自卸设备，以得到第二判断结果；

30、第二判定模块，用于若第二判断结果为否，则判定当前目标区域的开挖作业状态为开挖中状态；

31、第三判断模块，用于若第二判断结果为是，则判断当前目标区域中的自卸设备与挖掘设备之间是否存在重叠，以得到第三判断结果；

32、第三判定模块，用于若第三判断结果为是，则判定当前目标区域的开挖作业状态为装载中状态；

33、第四判定模块，用于若第三判断结果为否，则判定当前目标区域的开挖作业状态为开挖中状态。

34、可选地，所述第三判断模块包括：

35、交并比指标值确定模块，用于确定当前目标区域中自卸设备对应的第二边界框与当前目标区域中挖掘设备对应的第一边界框之间的交并比指标值；

36、重叠判定模块，用于若所述交并比指标值大于第一阈值，则判定当前目标区域中的自卸设备与挖掘设备之间存在重叠。

37、可选地，所述第一判断模块具体用于：在第帧视频流图像至第帧视频流图像中，若任意两帧视频流图像中挖掘设备的坐标差异均小于第二阈值，则判定所述当前目标区域包含的挖掘设备处于静止状态；其中，和为正整数。

38、可选地，所述装置还包括：

39、型号确定模块，用于利用自卸设备型号分类模型，确定当前目标区域中自卸设备对应的目标型号；

40、查找模块，用于根据所述目标型号，在查找型号与额定装载容量之间的映射关系中进行查找，确定所述当前目标区域中自卸设备对应的额定装载容量。

41、可选地，所述目标检测模块，具体用于将所述视频流图像输入目标检测模型，以得到所述目标检测模型输出的第一目标信息和第二目标信息；

42、其中，所述目标检测模型具体包括：主干网络、颈部网络和检测头网络；

43、所述主干网络包括：依次连接的第一卷积模块、第一下采样模块、第一特征提取模块、第二下采样模块、第二特征提取模块、第三下采样模块、第三特征提取模块、第四下采样模块、第四特征提取模块和空间金字塔池化模块；

44、所述颈部网络包括：依次连接的第一上采样模块、第一拼接模块、第五特征提取模块、第二上采样模块、第二拼接模块、第六特征提取模块、第五下采样模块、第三拼接模块、第七特征提取模块、第六下采样模块、第四拼接模块和第八特征提取模块；

45、所述第二特征提取模块与所述第二拼接模块相连，所述第三特征提取模块与所述第一拼接模块相连，所述空间金字塔池化模块分别与所述第一上采样模块和所述第四拼接模块相连，所述第五特征提取模块与所述第三拼接模块相连；所述第六特征提取模块与所述检测网络相连，所述第七特征提取模块与所述检测网络相连，所述第八特征提取模块与所述检测网络相连。

46、可选地，所述第一下采样模块包括：平均池化模块、第一分割模块、第二卷积模块、最大池化模块、第三卷积模块和第五拼接模块；

47、其中，所述平均池化模块接收输入特征，所述第一分割模块分别与所述平均池化模块、所述第二卷积模块和所述最大池化模块相连接，所述第三卷积模块与所述最大池化模块相连接，所述第五拼接模块分别与所述第二卷积模块和所述第三卷积模块相连接。

48、可选地，所述第一特征提取模块包括：第四卷积模块、第二分割模块、第一表示性多分支模块、第五卷积模块、第二表示性多分支模块、第六卷积模块、第六拼接模块和第七卷积模块；

49、其中，第四卷积模块对输入特征进行卷积处理，以得到第一卷积结果特征；所述第二分割模块对第一卷积结果特征进行分割，以得到第一部分特征、第二部分特征和第三部分特征，其中第一部分特征和第二部分特征进入第六拼接模块，第三部分特征进入第一表示性分支模块；第一表示性多分支模块、第五卷积模块、第二表示性多分支模块、第六卷积模块、第六拼接模块依次连接；第六拼接模块与第七卷积模块相连接。

50、可选地，所述第一表示性多分支模块包括：第八卷积模块、表示性瓶颈模块、第九卷积模块、第七拼接模块和第十卷积模块；

51、其中，所述第八卷积模块和所述第九卷积模块分别接收输入特征，所述表示性瓶颈模块与所述第八卷积模块相连；所述第七拼接模块分别与所述表示性瓶颈模块和所述第九卷积模块相连；所述第十卷积模块与所述第七拼接模块相连。

52、可选地，所述表示性瓶颈模块包括：表示性卷积模块和第十一卷积模块；

53、其中，输入特征依次经过表示性卷积模块和第十一卷积模块的处理，第十一卷积模块的输出与所述输入特征进行线性融合。

54、本技术实施例还公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本技术实施例所述的方法。

55、本技术实施例还公开了一种机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本技术实施例所述的方法。

56、本技术实施例包括以下优点：

57、本技术实施例的技术方案中，首先采集待统计施工区域的视频流图像；然后，对上述视频流图像进行目标检测，以得到视频流图像中挖掘设备、自卸设备等目标对应的目标信息；接着，根据上述目标信息，确定上述视频流图像中的n个目标区域；然后，根据目标区域的开挖作业状态与挖掘设备作业状态、是否存在自卸设备、挖掘设备与自卸设备位置关系之间的客观规律，确定当前目标区域的当前次装载对应的开挖量，并更新当前目标区域的累计开挖量；进而，根据上述n个目标区域中所有当前目标区域的累计开挖量，确定待统计施工区域对应的总实时开挖方量。

58、由于本技术实施例根据视频流图像中挖掘设备、自卸设备等目标对应的目标信息，确定视频流图像中的n个目标区域，并根据目标区域的开挖作业状态与挖掘设备作业状态、是否存在自卸设备、挖掘设备与自卸设备位置关系之间的客观规律，确定当前目标区域的当前次装载对应的开挖量；这样，本技术实施例能够根据不断更新的视频流图像，持续性确定视频流图像存在的目标区域、目标区域对应的开挖作业状态；在此基础上，本技术实施例能够持续性确定视频流图像中当前目标区域的当前次装载对应的开挖量、以及视频流图像中所有当前目标区域的累计开挖量。因此，本技术实施例能够基于视频流图像的分析，以较低成本和较快速度实现土石方开挖量的实时监测。换言之，本技术实施例能够节省采用无人机倾斜摄影或三维激光扫描技术所耗费的人力成本、数据采集成本、数据处理时间成本，且能够提高土石方开挖量的处理效率和实时性。

技术特征：

1.一种开挖量实时监测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一目标信息包括：第一边界框，所述第二目标信息包括：第二边界框；

3.根据权利要求2所述的方法，其特征在于，所述对第一边界框与第二边界框进行一对一匹配，包括：

4.根据权利要求1所述的方法，其特征在于，所述针对n个目标区域中的当前目标区域，根据所述当前目标区域中挖掘设备的作业状态、所述当前目标区域中是否包含自卸设备、以及当前目标区域中挖掘设备与自卸设备之间的位置关系，确定所述当前目标区域的开挖作业状态，包括：

5.根据权利要求4所述的方法，其特征在于，所述判断当前目标区域中的自卸设备与挖掘设备之间是否存在重叠，包括：

6.根据权利要求4所述的方法，其特征在于，所述判断所述当前目标区域包含的挖掘设备是否处于静止状态，包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1至7中任一所述的方法，其特征在于，所述对所述视频流图像进行目标检测，包括：

9.根据权利要求8所述的方法，其特征在于，所述第一下采样模块包括：平均池化模块、第一分割模块、第二卷积模块、最大池化模块、第三卷积模块和第五拼接模块；

10.根据权利要求8所述的方法，其特征在于，所述第一特征提取模块包括：第四卷积模块、第二分割模块、第一表示性多分支模块、第五卷积模块、第二表示性多分支模块、第六卷积模块、第六拼接模块和第七卷积模块；

11.根据权利要求10所述的方法，其特征在于，所述第一表示性多分支模块包括：第八卷积模块、表示性瓶颈模块、第九卷积模块、第七拼接模块和第十卷积模块；

12.根据权利要求11所述的方法，其特征在于，所述表示性瓶颈模块包括：表示性卷积模块和第十一卷积模块；

13.一种开挖量实时监测装置，其特征在于，所述装置包括：

14.一种电子设备，其特征在于，包括：处理器；和

15.一种机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如权利要求1-12中任一项所述的方法。

技术总结
本申请实施例提供了一种开挖量实时监测方法、装置、设备和介质，其中的方法具体包括：对视频流图像进行目标检测，以得到视频流图像中包含的挖掘设备和自卸设备对应的目标信息；确定视频流图像中的N个目标区域；确定当前目标区域的开挖作业状态；在当前目标区域的开挖作业状态从装载中状态更新为未开挖状态或开挖中状态的情况下，根据当前目标区域中自卸设备对应的额定装载容量，确定当前目标区域的当前次装载对应的开挖量，并更新当前目标区域的累计开挖量；根据N个目标区域中所有当前目标区域的累计开挖量，得到待统计施工区域的总实时开挖方量。本申请实施例能够基于视频流图像的分析，以较低成本和较快速度实现土石方开挖量的实时监测。

技术研发人员：张隽
受保护的技术使用者：中国长江三峡集团有限公司
技术研发日：
技术公布日：2024/12/5