数据处理方法、装置、设备、存储介质与流程

1.本技术涉及但不限于计算机视觉技术领域，尤其涉及一种数据处理方法、装置、设备、存储介质。


背景技术：

2.相关技术中，可以通过在不同的空间位置设置图像抓拍设备，对各种对象进行抓拍，以获取大量对象的轨迹记录。然而，相关技术中获取的轨迹记录可能存在大量重复的问题，导致对轨迹记录进行存储或分析的成本较高。


技术实现要素：

3.有鉴于此，本技术实施例提供一种数据处理方法、装置、设备、存储介质。
4.本技术实施例的技术方案是这样实现的：
5.一方面，本技术实施例提供一种数据处理方法，所述方法包括：
6.响应于接收到待上报的轨迹记录，获取所述轨迹记录对应的抓拍图像的属性信息；
7.基于所述抓拍图像的属性信息，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录；其中，所述历史轨迹集合中包括至少一个已上报至目标平台的历史轨迹记录；
8.在所述历史轨迹集合中存在所述目标历史轨迹记录的情况下，确定所述轨迹记录为重复上报轨迹。
9.另一方面，本技术实施例提供一种数据处理装置，所述装置包括：
10.获取模块，用于响应于接收到待上报的轨迹记录，获取所述轨迹记录对应的抓拍图像的属性信息；
11.第一确定模块，用于基于所述抓拍图像的属性信息，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录；其中，所述历史轨迹集合中包括至少一个已上报至目标平台的历史轨迹记录；
12.第二确定模块，用于在所述历史轨迹集合中存在所述目标历史轨迹记录的情况下，确定所述轨迹记录为重复上报轨迹。
13.再一方面，本技术实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
14.又一方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。
15.又一方面，本技术实施例提供一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算机设备中运行时，所述展示设备中的处理器执行用于实现上述方法中的部分或全部步骤。
16.又一方面，本技术实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。
17.本技术实施例中，通过响应于接收到待上报的轨迹记录，获取所述轨迹记录对应的抓拍图像的属性信息；基于所述抓拍图像的属性信息，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录；其中，所述历史轨迹集合中包括至少一个已上报至目标平台的历史轨迹记录；在所述历史轨迹集合中存在所述目标历史轨迹记录的情况下，确定所述轨迹记录为重复上报轨迹。这样，基于抓拍图像的属性信息可以准确地判断出重复上报的轨迹记录，从而有利于轨迹记录上报过程中的去重治理，进而有利于减少目标平台对轨迹记录进行存储或分析的成本。
附图说明
18.图1为本技术实施例提供的一种数据处理方法的实现流程示意图；
19.图2为本技术实施例提供的一种数据处理方法的实现流程示意图；
20.图3为本技术实施例提供的一种数据处理方法的实现流程示意图；
21.图4为本技术实施例提供的一种数据处理方法的实现流程示意图；
22.图5为本技术实施例提供的一种数据处理装置的组成结构示意图；
23.图6为本技术实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
24.为了使本技术的目的、技术方案和优点更加清楚，下面结合附图和实施例对本技术的技术方案进一步详细阐述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
25.在以下的描述中，所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术的目的，不是旨在限制本技术。
26.本技术实施例提供一种数据处理方法，该方法可以由计算机设备的处理器执行。其中，计算机设备指的可以是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、机顶盒、移动设备(例如移动电话、便携式视频播放器、个人数字助理、专用消息设备、便携式游戏设备)等具备数据处理能力的设备。图1为本技术实施例提供的一种数据处理方法的实现流程示意图，如图1所示，该方法包括如下步骤s101至步骤s103：
27.步骤s101，响应于接收到待上报的轨迹记录，获取所述轨迹记录对应的抓拍图像的属性信息。
28.这里，待上报的轨迹记录可以为任意合适对象的轨迹记录，可以是由采集或生成轨迹记录的服务或平台等发送的。对象可以包括但不限于人员、动物、车辆、特定的物品等中的一种或多种。在实施时，轨迹记录可以是对象的一个轨迹点，也可以是对象的多个轨迹点的集合，这里并不限定。
29.轨迹记录可以是基于对对象进行抓拍得到的抓拍图像确定的，每一轨迹记录可以对应一个抓拍图像。抓拍图像的属性信息可以包括但不限于抓拍图像的图像标识、抓拍图像对应的对象标识、抓拍设备标识和抓拍时间等中的一种或多种。抓拍图像的图像标识可以唯一标识某一特定的抓拍设备在特定时间抓拍的图像，如抓拍图像的通用唯一识别码(universally unique identifier，uuid)、包含抓拍设备的标识和抓拍时间的唯一标识等。抓拍图像对应的对象标识可以是抓拍图像中包括的对象的标识，如抓拍图像中抓拍到的人员、物体、动物、车辆等的标识。抓拍图像对应的抓拍设备标识可以是采集该抓拍图像的抓拍设备的标识。抓拍图像对应的抓拍时间可以是采集该抓拍图像的时间。在实施时，本领域技术人员可以根据实际情况采用合适的方式获取轨迹记录对应的抓拍图像的属性信息，本公开实施例对此并不限定。例如，可以在轨迹记录中携带该轨迹记录对应的抓拍图像的属性信息，通过对轨迹记录进行解析，可以得到该属性信息；也可以在基于轨迹记录的标识，查询预先存储的轨迹记录的标识与抓拍图像的属性信息之间的对应关系，得到该轨迹记录对应的抓拍图像的属性信息。
30.在一些实施方式中，待上报的轨迹记录可以为预设的目标对象的轨迹记录，可以是由特定的对象比对引擎发送的。对象比对引擎可以是用于对抓拍设备抓拍的图像和预设的目标对象的参考图像进行比对，以确定目标对象的至少一个轨迹记录的服务或平台等。在实施时，可以通过至少一个对象比对引擎，对设置在不同空间位置的至少一个抓拍设备抓拍的图像和预设的目标对象的参考图像进行比对，得到目标对象的至少一个轨迹记录，并将该至少一个轨迹记录发送至当前执行该数据处理方法的处理器。对象比对引擎可以是基于任意合适的图像处理算法实现的，至少一个对象比对引擎可以是由同一生产厂商提供的，也可以是多个不同的生产厂商提供的，这里并不限定。
31.步骤s102，基于所述抓拍图像的属性信息，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录；其中，所述历史轨迹集合中包括至少一个已上报至目标平台的历史轨迹记录。
32.这里，目标平台可以是用于接收上报的轨迹记录，以对各种对象的轨迹记录进行存储、聚合、分析等任意合适的处理的平台。例如，待上报的轨迹记录可以是第三级或第二级范围内抓拍的对象的轨迹记录，目标平台可以是对第三级或第二级范围内抓拍的对象的轨迹记录进行存储及进一步分析的第一级平台；其中，第一级、第二级、第三级具有依次包含的级联关系。
33.历史轨迹集合可以是持久存储的，也可以是缓存的，本公开实施例对此并不限定。例如，历史轨迹集合可以是目标平台持久存储至数据库中的历史轨迹记录的集合，也可以是当前执行该数据处理方法的处理器缓存的已上报至目标平台的历史轨迹记录的集合。
34.目标历史轨迹记录可以是对应的抓拍图像的属性信息与该轨迹记录对应的抓拍图像的属性信息相同的历史轨迹记录。例如，抓拍图像的图像标识与该轨迹记录对应的抓拍图像的图像标识相同的历史轨迹记录，抓拍图像对应的对象标识、抓拍设备标识和抓拍
时间分别与该轨迹记录的抓拍图像对应的对象标识、抓拍设备标识和抓拍时间相同的历史轨迹记录。目标历史轨迹记录也可以是对应的抓拍图像的属性信息与该轨迹记录对应的抓拍图像的属性信息相似的历史轨迹记录，例如，对应的抓拍图像的对象标识、抓拍设备标识分别与该轨迹记录对应的抓拍图像的对象标识、抓拍设备标识相同，且对应的抓拍图像的抓拍时间与该轨迹记录对应的抓拍图像的抓拍时间之间的差值小于特定的时间阈值的历史轨迹记录。
35.在实施时，可以基于抓拍图像的属性信息，查询历史轨迹集合，以确定历史轨迹集合中是否存在与该轨迹记录匹配的目标历史轨迹记录。
36.步骤s103，在所述历史轨迹集合中存在所述目标历史轨迹记录的情况下，确定所述轨迹记录为重复上报轨迹。
37.这里，在历史轨迹集合中存在与轨迹记录匹配的目标历史轨迹记录的情况下，可以确定该轨迹记录与该目标历史轨迹记录重复，也即该轨迹记录为重复上报轨迹。例如，在多个对象比对引擎接入了相同的抓拍设备的情况下，多个对象比对引擎可以具有相同的抓拍图像输入源，可能会导致基于同一抓拍设备抓拍的抓拍图像确定的轨迹记录被多个对象比对引擎多次重复上报，从而在历史轨迹集合中存在对应的抓拍图像的属性信息与该轨迹记录对应的抓拍图像的属性信息相同的目标历史轨迹记录的情况下，可以确定该轨迹记录为重复上报轨迹。又如，一个目标对象可能在短时间范围内被多次抓拍，这可能会导致这个目标对象在短时间范围内相似的多张抓拍图像被对象比对引擎做多次比对，产生多个轨迹记录并重复上报，从而在历史轨迹集合中存在对应的抓拍图像的属性信息与该轨迹记录对应的抓拍图像的属性信息相似的目标历史轨迹记录的情况下，可以确定该轨迹记录为重复上报轨迹。
38.在一些实施方式中，可以在历史轨迹集合中不存在对应的抓拍图像的属性信息与该轨迹记录对应的抓拍图像的属性信息相同的目标历史轨迹记录，且不存在对应的抓拍图像的属性信息与该轨迹记录对应的抓拍图像的属性信息相似的目标历史轨迹记录的情况下，确定该轨迹记录不是重复上报轨迹，并将该轨迹记录上报至目标平台。
39.本技术实施例中，通过响应于接收到待上报的轨迹记录，获取所述轨迹记录对应的抓拍图像的属性信息；基于所述抓拍图像的属性信息，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录；其中，所述历史轨迹集合中包括至少一个已上报至目标平台的历史轨迹记录；在所述历史轨迹集合中存在所述目标历史轨迹记录的情况下，确定所述轨迹记录为重复上报轨迹。这样，基于抓拍图像的属性信息可以准确地判断出重复上报的轨迹记录，从而有利于轨迹记录上报过程中的去重治理，进而有利于减少目标平台对轨迹记录进行存储或分析的成本。
40.在一些实施例中，所述历史轨迹集合包括以下至少之一：持久化存储的第一历史轨迹集合；缓存的第二历史轨迹集合。这里，持久化存储的第一历史轨迹集合可以包括为存储于任意合适的数据库中的历史轨迹记录的集合，缓存的第二历史轨迹集合可以为缓存在内存、磁盘文件、数据缓存服务等任意合适位置处的历史轨迹记录的集合。这样，通过持久化存储的第一历史轨迹集合判断重复上报轨迹，可以提高重复上报轨迹判断的准确性；通过缓存的第二历史轨迹集合判断重复上报轨迹，可以在提高短时间内重复上报轨迹判断的准确性的同时提高判断的效率。
41.在一些实施例中，所述方法还包括：
42.步骤s111，在所述历史轨迹集合中不存在所述目标历史轨迹记录的情况下，将所述轨迹记录上报至所述目标平台。
43.这里，在历史轨迹集合中不存在与待上报的轨迹记录匹配的目标历史轨迹记录的情况下，可以确定待上报的轨迹记录不是重复上报轨迹，从而可以将该轨迹记录上报至目标平台。
44.这样，可以减少将重复的轨迹记录上报至目标平台，有利于减少目标平台对轨迹记录进行存储或分析的成本。
45.本技术实施例提供一种数据处理方法，该方法可以由计算机设备的处理器执行。如图2所示，该方法包括如下步骤s201至步骤s203：
46.步骤s201，响应于接收到待上报的轨迹记录，获取所述轨迹记录对应的抓拍图像的属性信息。
47.这里，上述步骤s201对应前述步骤s101，在实施时，可以参照前述步骤s101的具体实施方式。
48.步骤s202，在所述抓拍图像的属性信息包括所述抓拍图像的图像标识的情况下，基于所述图像标识，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录；其中，所述历史轨迹集合中包括至少一个已上报至目标平台的历史轨迹记录。
49.这里，抓拍图像的图像标识可以是任意合适的能够唯一标识某一特定的抓拍设备在特定时间抓拍的图像的标识信息，如抓拍图像的uuid、包含抓拍设备的标识和抓拍时间的唯一标识等。在实施时，抓拍图像的图像标识可以是抓拍设备在抓拍到该抓拍图像的情况下采用任意合适的方式确定的，本公开实施例对此并不限定。例如，抓拍图像的图像标识可以是抓拍设备随机生成的uuid，也可以是各抓拍设备基于抓拍该抓拍图像的抓拍设备的标识和抓拍时间，按照统一的标识生成策略生成的标识信息，还可以是抓拍设备基于抓拍图像中包括的人像、以及抓拍该抓拍图像的抓拍设备的标识和抓拍时间生成的人像标识。
50.在实施时，可以通过对抓拍图像的图像标识与历史轨迹集合中各历史轨迹记录对应的抓拍图像的图像标识进行比对，确定历史轨迹集合中是否存在与轨迹记录匹配的目标历史轨迹记录。与轨迹记录匹配的目标历史轨迹记录可以是对应的抓拍图像的图像标识与该轨迹记录对应的抓拍图像的图像标识相同的历史轨迹记录。
51.步骤s203，在所述历史轨迹集合中存在所述目标历史轨迹记录的情况下，确定所述轨迹记录为重复上报轨迹。
52.这里，上述步骤s203对应前述步骤s103，在实施时，可以参照前述步骤s103的具体实施方式。
53.在一些实施例中，所述目标历史轨迹包括第一历史轨迹记录，所述第一历史轨迹记录对应的抓拍图像的图像标识与所述轨迹记录对应的抓拍图像的图像标识相同；上述步骤s202中所述的基于所述图像标识，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录，包括：
54.步骤s211，基于所述图像标识，查询所述历史轨迹集合，确定所述历史轨迹集合中是否存在第一历史轨迹记录。
55.在实施时，可以通过查询持久化存储的第一历史轨迹集合确定历史轨迹集合中是
否存在第一历史轨迹记录，也可以通过查询缓存的第二历史轨迹集合确定历史轨迹集合中是否存在第一历史轨迹记录，本技术实施例对此并不限定。
56.本技术实施例中，在抓拍图像的属性信息包括抓拍图像的图像标识的情况下，基于该图像标识，确定历史轨迹集合中是否存在与该轨迹记录匹配的目标历史轨迹记录。这样，由于抓拍图像的图像标识可以对抓拍图像进行唯一标识，从而可以有效识别出基于同一抓拍图像确定的轨迹记录被多次重复上报的情况，进而有利于轨迹记录上报过程中的去重治理，以及有利于减少目标平台对轨迹记录进行存储或分析的成本。
57.本技术实施例提供一种数据处理方法，该方法可以由计算机设备的处理器执行。如图3所示，该方法包括如下步骤s301至步骤s303：
58.步骤s301，响应于接收到待上报的轨迹记录，获取所述轨迹记录对应的抓拍图像的属性信息。
59.这里，上述步骤s301对应前述步骤s101，在实施时，可以参照前述步骤s101的具体实施方式。
60.步骤s302，在所述抓拍图像的属性信息包括所述抓拍图像对应的对象标识、抓拍设备标识和抓拍时间的情况下，基于所述对象标识、所述抓拍设备标识和所述抓拍时间，确定所述历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录；其中，所述历史轨迹集合中包括至少一个已上报至目标平台的历史轨迹记录。
61.这里，抓拍图像对应的对象标识可以是抓拍图像中包括的对象的标识，如抓拍图像中抓拍到的人员、物体、动物、车辆等的标识。抓拍图像中包括的对象的标识可以是通过对抓拍图像中的对象与至少一个对象的参考图像进行比对确定的。抓拍图像对应的抓拍设备标识可以是采集该抓拍图像的抓拍设备的标识。抓拍图像对应的抓拍时间可以是采集该抓拍图像的时间。
62.在实施时，可以通过对抓拍图像对应的对象标识、抓拍设备标识和抓拍时间分别与历史轨迹集合中各历史轨迹记录对应的对象标识、抓拍设备标识和抓拍时间进行比对，确定历史轨迹集合中是否存在与该轨迹记录匹配的目标历史轨迹记录。与轨迹记录匹配的目标历史轨迹记录可以是对应的抓拍图像的对象标识、抓拍设备标识分别与该轨迹记录对应的抓拍图像的对象标识、抓拍设备标识相同，且对应的抓拍图像的抓拍时间与轨迹记录对应的抓拍图像的抓拍时间相同或相近的历史轨迹记录。
63.步骤s303，在所述历史轨迹集合中存在所述目标历史轨迹记录的情况下，确定所述轨迹记录为重复上报轨迹。
64.这里，上述步骤s303对应前述步骤s103，在实施时，可以参照前述步骤s103的具体实施方式。
65.本技术实施例中，在抓拍图像的属性信息包括抓拍图像对应的对象标识、抓拍设备标识和抓拍时间的情况下，基于该对象标识、抓拍设备标识和抓拍时间，确定历史轨迹集合中是否存在与该轨迹记录匹配的目标历史轨迹记录。这样，可以有效识别出一个目标对象在短时间范围内相似的多张抓拍图像被对象比对引擎做多次比对，产生多个轨迹记录并重复上报的情况，进而有利于轨迹记录上报过程中的去重治理，以及有利于减少目标平台对轨迹记录进行存储或分析的成本。
66.在一些实施例中，所述目标历史轨迹包括第二历史轨迹记录，所述第二历史轨迹
记录对应的抓拍图像的对象标识、抓拍设备标识分别与所述轨迹记录对应的抓拍图像的对象标识、抓拍设备标识相同；所述第二历史轨迹记录对应的抓拍图像的抓拍时间与所述轨迹记录对应的抓拍图像的抓拍时间之间的差值小于设定的第一时间阈值；上述步骤s302中所述的基于所述对象标识、所述抓拍设备标识和所述抓拍时间，确定所述历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录，包括：
67.步骤s311，基于所述对象标识、所述抓拍设备标识和所述抓拍时间，查询所述历史轨迹集合，确定所述历史轨迹集合中是否存在第二历史轨迹记录。
68.这里，第一时间阈值可以是用户预先设定的，也可以是系统默认的，本技术实施例对此并不限定。
69.在实施时，可以通过查询持久化存储的第一历史轨迹集合确定历史轨迹集合中是否存在第二历史轨迹记录，也可以通过查询缓存的第二历史轨迹集合确定历史轨迹集合中是否存在第二历史轨迹记录，本技术实施例对此并不限定。
70.在一些实施例中，所述历史轨迹集合包括缓存的第二历史轨迹集合，所述第二历史轨迹集合中的每一历史轨迹记录以键值对的形式缓存；上述步骤s311可以包括：
71.步骤s321，基于所述对象标识和所述抓拍设备标识，生成目标键值名；
72.这里，第二历史轨迹集合中的每一历史轨迹记录以键值对的形式缓存，可以每一历史轨迹记录的键值名可以是预先根据实际情况采用合适的方式生成的，因而可以基于轨迹记录的抓拍图像对应的对象标识和抓拍设备标识，采用相应的方式生成目标键值名。在实施时，本领域技术人员可以根据实际情况采用合适的方式基于对象标识和抓拍设备标识，生成目标键值名，本技术实施例对此并不限定。在一些实施方式中，可以按照设定的组合方式，对对象标识和抓拍设备标识进行组合，得到目标键值名，例如，在抓拍设备标识为“deviceid”，对象标识为“objectid”的情况下，可以将字符串“deviceid_objectid”作为目标键值名。
73.步骤s322，利用所述目标键值名查询所述第二历史轨迹集合；
74.步骤s323，在所述第二历史轨迹集合中查询到键值名与所述目标键值名相同的历史轨迹记录，且所述历史轨迹记录对应的抓拍图像的抓拍时间与所述轨迹记录对应的抓拍图像的抓拍时间之间的差值小于所述第一时间阈值的情况下，确定所述历史轨迹集合中存在所述第二历史轨迹记录。
75.在上述实施例中，历史轨迹集合包括缓存的第二历史轨迹集合，第二历史轨迹集合中的每一历史轨迹记录以键值对的形式缓存，基于轨迹记录的抓拍图像对应的对象标识和抓拍设备标识，生成目标键值名，并利用该目标键值名查询第二历史轨迹集合，在第二历史轨迹集合中查询到键值名与该目标键值名相同的历史轨迹记录，且该历史轨迹记录对应的抓拍图像的抓拍时间与该轨迹记录对应的抓拍图像的抓拍时间之间的差值小于第一时间阈值的情况下，确定历史轨迹集合中存在第二历史轨迹记录。这样，可以快速地确定历史轨迹集合中是否存在第二历史轨迹记录。
76.在一些实施例中，上述步骤s311还可以包括：
77.步骤s331，在满足以下之一条件的情况下，确定所述历史轨迹记录中不存在第二历史轨迹记录：
78.所述第二历史轨迹集合中不存在键值名与所述目标键值名相同的历史轨迹记录；
79.所述第二历史轨迹集合中存在键值名与所述目标键值名相同的历史轨迹记录，且所述历史轨迹记录对应的抓拍图像的抓拍时间与所述轨迹记录对应的抓拍图像的抓拍时间之间的差值不小于所述第一时间阈值。
80.在一些实施例中，所述方法还包括：步骤s341，在所述历史轨迹集合中不存在所述第二历史轨迹记录的情况下，基于所述目标键值名，以设定的第二时间阈值作为缓存有效期，将所述轨迹记录以键值对的形式缓存至所述第二历史轨迹集合。这里，第二时间阈值可以是用户预先设定的，也可以是系统默认的，本技术实施例对此并不限定。在实施时，第二时间阈值可以与第一时间阈值相同，也可以与第一时间阈值不同。
81.本上述实施例中，通过在历史轨迹集合中不存在第二历史轨迹记录的情况下，基于目标键值名，以设定的第二时间阈值作为缓存有效期，将该第二历史轨迹记录以键值对的形式缓存至第二历史轨迹集合。这样，可以对未重复上报的轨迹记录进行缓存，以减少与该轨迹记录重复的新的轨迹记录再次上报至目标平台的情况。
82.下面说明本技术实施例提供的数据处理方法在实际场景中的应用。
83.本技术实施例提供一种对象比对管理系统，该系统可以通过接收下级各对象比对引擎上报的目标对象的轨迹记录，对轨迹记录对应的抓拍图像进行图像质量、拍摄角度等对象检测方面的轨迹质量治理，过滤掉低质量的轨迹记录，从而达到将较高质量的轨迹记录上报，并且，该对象比对管理系统可以对上报的轨迹记录进行去重、聚合等管理，并将去重或聚合等处理后的轨迹记录上报至上级平台(对应前述的目标平台)。
84.本技术实施例提供一种数据处理方法，应用于上述对象比对管理系统。该方法针对对接收到的下级的对象比对引擎上报的目标对象的轨迹记录，提取该轨迹记录对应的抓拍图像的图像标识、以及该抓拍图像对应的对象标识、抓拍设备标识、抓拍时间等信息；根据抓拍图像的图像标识，检索目标平台存储的历史轨迹集合，判断该轨迹记录是否已被其他对象比对引擎上报，并根据抓拍图像对应的对象标识、抓拍设备标识和抓拍时间，查询缓存的特定时间范围内上报的轨迹记录，判断特定时间范围内该目标对象是否有重复上报的轨迹记录；只有判定该轨迹记录未被其他对象比对引擎上报，且特定时间范围内该目标对象没有重复上报的轨迹记录，才会将该轨迹记录存储并上报给目标平台。
85.在一些实施例中，如图4所示，本技术实施例提供的数据处理方法可以包括以下步骤s401至步骤s404：
86.步骤s401，用户进行时间阈值配置。
87.这里，用户可以配置用于作为历史轨迹记录缓存有效期的时间阈值。该时间阈值还可以用于在轨迹记录去重过程中判断待上报的轨迹记录与历史轨迹记录是否为多次抓拍重复上报的轨迹记录。在实施时，该时间阈值可以对应于前述实施例中的第一时间阈值和/或第二时间阈值。
88.步骤s402，对象比对管理系统接收下级的对象比对引擎上报的目标对象的至少一个轨迹记录。
89.这里，对于每个轨迹记录，可以对该轨迹记录进行解析，提取出该轨迹记录中抓拍图像的图像标识、该抓拍图像对应的抓拍设备标识、抓拍时间以及对象标识。
90.步骤s403，对象比对管理系统对所述至少一个轨迹记录进行多平台重复上报去重处理，得到第一轨迹记录集合。
91.这里，多平台重复上报去重处理可以是对多个对象比对引擎接入相同抓拍设备作为抓拍图像的数据源导致重复上报的轨迹记录进行去重处理。针对每一轨迹记录，通过根据该轨迹记录对应的抓拍图像的图像标识，检索目标平台存储的历史轨迹集合，来判断该轨迹记录是否已被其他对象比对引擎上报。如果该轨迹记录是否已被其他对象比对引擎上报，则直接返回报错信息。如果该轨迹记录未被其他对象比对引擎上报，可以将该轨迹记录添加至第一轨迹记录集合。
92.步骤s404，对象比对管理系统对所述第一轨迹记录集合中的轨迹记录进行多次抓拍重复上报去重处理，得到第二轨迹记录集合。
93.这里，多次抓拍重复上报去重处理可以是对目标对象在较小的时间窗内被同一抓拍设备多次抓拍导致重复上报的轨迹记录进行去重处理。在一些实施方式中，针对第一轨迹记录集合中的每一轨迹记录，可以将轨迹记录的抓拍图像对应的对象标识和抓拍设备标识组成的字符串“抓拍设备标识_对象标识”作为缓存的轨迹记录的键值名，将抓拍时间作为缓存的轨迹记录的键值，将用户配置的时间阈值作为缓存的轨迹记录的有效期。对抓拍图像对应的对象标识和抓拍设备标识组合得到目标键值名，使用该目标键值名查询缓存的已上报的轨迹记录，判断缓存中是否存在键值名与目标键值名相同的历史轨迹记录。如果不存在键值名与目标键值名相同的历史轨迹记录，则说明短时间内该目标对象没有重复上报的轨迹记录，可以将该待上报的轨迹记录存入缓存中，并将该轨迹记录添加至第二轨迹记录集合。如果存在键值名与目标键值名相同的历史轨迹记录，则将该轨迹记录的抓拍图像对应的抓拍时间和该历史轨迹记录键值中的抓拍时间做比较，如果该轨迹记录的抓拍图像对应的抓拍时间与该历史轨迹记录键值中的抓拍时间之间的差值小于用户配置的时间阈值，则说明该待上报的轨迹记录为重复上报轨迹，直接返回报错信息，如果该轨迹记录的抓拍图像对应的抓拍时间与该历史轨迹记录键值中的抓拍时间之间的差值小于用户配置的时间阈值，则说明该待上报的轨迹记录不是重复上报轨迹，可以将该轨迹记录添加至第二轨迹记录集合。缓存的每条轨迹记录在有效期结束后，会自动从缓存中被删掉。
94.只有在待上报的轨迹记录不是由于多个对象比对引擎接入相同抓拍设备作为抓拍图像的数据源导致重复上报的轨迹记录，且不是由于目标对象在较小的时间窗内被同一抓拍设备多次抓拍导致重复上报的轨迹记录的情况下，对象比对管理系统才会将该待上报的轨迹记录上报给上级平台。在一些实施方式中，在将待上报的轨迹记录上报给上级平台后，对象比对管理系统可以从上级平台获取轨迹记录对应的目标对象的身份信息并返回给相应的对象比对引擎，以支持对象比对引擎基于该身份信息对轨迹记录进行进一步的分析。
95.本公开实施例提供的数据处理方法可以应用于上述对象比对关系系统中，例如，各省级或地市级的对象比对管理系统接入多个对象比对引擎后，可能会面临多个下级对象比对引擎接入相同抓拍设备作为抓拍图像的数据源，或抓拍设备在较小的时间窗内多次抓拍目标对象导致的轨迹记录重复上报的问题。基于本公开实施例提供的数据处理方法，一方面，根据抓拍图像的图像标识，检索目标平台存储的历史轨迹集合，判断该轨迹记录是否已被其他对象比对引擎上报，可以减少多个对象比对引擎接入相同抓拍设备作为抓拍图像的数据源导致轨迹记录重复上报的问题；另一方面，通过缓存特定时间范围内上报的历史轨迹记录，并根据抓拍图像对应的对象标识、抓拍设备标识和抓拍时间，查询缓存的特定时
间范围内上报的轨迹记录，判断特定时间范围内该目标对象是否有重复上报的轨迹记录，可以减少目标对象在较小的时间窗内被同一抓拍设备多次抓拍导致同一目标对象的多张近乎相同的图像被多次比对的情况，进而可以减少该情况造成的轨迹记录重复上报问题。
96.图5为本技术实施例提供的一种数据处理装置的组成结构示意图，如图5所示，数据处理装置500包括：获取模块510、第一确定模块520和第二确定模块530，其中：
97.获取模块510，用于响应于接收到待上报的轨迹记录，获取所述轨迹记录对应的抓拍图像的属性信息；
98.第一确定模块520，用于基于所述抓拍图像的属性信息，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录；其中，所述历史轨迹集合中包括至少一个已上报至目标平台的历史轨迹记录；
99.第二确定模块530，用于在所述历史轨迹集合中存在所述目标历史轨迹记录的情况下，确定所述轨迹记录为重复上报轨迹。
100.在一些实施例中，所述历史轨迹集合包括以下至少之一：持久化存储的第一历史轨迹集合；缓存的第二历史轨迹集合。
101.在一些实施例中，所述第一确定模块还用于：在所述抓拍图像的属性信息包括所述抓拍图像的图像标识的情况下，基于所述图像标识，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录。
102.在一些实施例中，所述目标历史轨迹包括第一历史轨迹记录，所述第一历史轨迹记录对应的抓拍图像的图像标识与所述轨迹记录对应的抓拍图像的图像标识相同；所述第一确定模块还用于：基于所述图像标识，查询所述历史轨迹集合，确定所述历史轨迹集合中是否存在第一历史轨迹记录。
103.在一些实施例中，所述第一确定模块还用于：在所述抓拍图像的属性信息包括所述抓拍图像对应的对象标识、抓拍设备标识和抓拍时间的情况下，基于所述对象标识、所述抓拍设备标识和所述抓拍时间，确定所述历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录。
104.在一些实施例中，所述目标历史轨迹包括第二历史轨迹记录，所述第二历史轨迹记录对应的抓拍图像的对象标识、抓拍设备标识分别与所述轨迹记录对应的抓拍图像的对象标识、抓拍设备标识相同；所述第二历史轨迹记录对应的抓拍图像的抓拍时间与所述轨迹记录对应的抓拍图像的抓拍时间之间的差值小于设定的第一时间阈值；所述第一确定模块还用于：基于所述对象标识、所述抓拍设备标识和所述抓拍时间，查询所述历史轨迹集合，确定所述历史轨迹集合中是否存在第二历史轨迹记录。
105.在一些实施例中，所述历史轨迹集合包括缓存的第二历史轨迹集合，所述第二历史轨迹集合中的每一历史轨迹记录以键值对的形式缓存；所述第一确定模块还用于：基于所述对象标识和所述抓拍设备标识，生成目标键值名；利用所述目标键值名查询所述第二历史轨迹集合；在所述第二历史轨迹集合中查询到键值名与所述目标键值名相同的历史轨迹记录，且所述历史轨迹记录对应的抓拍图像的抓拍时间与所述轨迹记录对应的抓拍图像的抓拍时间之间的差值小于所述第一时间阈值的情况下，确定所述历史轨迹集合中存在所述第二历史轨迹记录。
106.在一些实施例中，所述第一确定模块还用于：在满足以下之一条件的情况下，确定
所述历史轨迹记录中不存在第二历史轨迹记录：所述第二历史轨迹集合中不存在键值名与所述目标键值名相同的历史轨迹记录；所述第二历史轨迹集合中存在键值名与所述目标键值名相同的历史轨迹记录，且所述历史轨迹记录对应的抓拍图像的抓拍时间与所述轨迹记录对应的抓拍图像的抓拍时间之间的差值不小于所述第一时间阈值。
107.在一些实施例中，所述装置还包括：缓存模块，用于在所述历史轨迹集合中不存在所述第二历史轨迹记录的情况下，基于所述目标键值名，以设定的第二时间阈值作为缓存有效期，将所述轨迹记录以键值对的形式缓存至所述第二历史轨迹集合。
108.在一些实施例中，所述装置还包括：上报模块，用于在所述历史轨迹集合中不存在所述目标历史轨迹记录的情况下，将所述轨迹记录上报至所述目标平台。
109.以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术装置实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
110.需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述的数据处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件和软件结合。
111.对应地，本技术实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的步骤。
112.对应地，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的步骤。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。
113.对应地，本技术实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
114.这里需要指出的是：以上存储介质、计算机程序产品和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术存储介质、计算机程序产品和设备实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
115.需要说明的是，图6为本技术实施例中计算机设备的一种硬件实体示意图，如图6所示，该计算机设备600的硬件实体包括：处理器601、通信接口602和存储器603，其中：
116.处理器601通常控制计算机设备600的总体操作。
117.通信接口602可以使计算机设备通过网络与其他终端或服务器通信。
118.存储器603配置为存储由处理器601可执行的指令和应用，还可以缓存待处理器601以及计算机设备600中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(flash)或随机访问存储器(random access memory，ram)实现。处理器601、通信接口602和存储器603之间可以通过总线604进行数据传输。
119.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
120.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
121.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
122.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
123.另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
124.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
125.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述
的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
126.以上所述，仅为本技术的实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。

技术特征：
1.一种数据处理方法，其特征在于，所述方法包括：响应于接收到待上报的轨迹记录，获取所述轨迹记录对应的抓拍图像的属性信息；基于所述抓拍图像的属性信息，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录；其中，所述历史轨迹集合中包括至少一个已上报至目标平台的历史轨迹记录；在所述历史轨迹集合中存在所述目标历史轨迹记录的情况下，确定所述轨迹记录为重复上报轨迹。2.根据权利要求1所述的方法，其特征在于，所述历史轨迹集合包括以下至少之一：持久化存储的第一历史轨迹集合；缓存的第二历史轨迹集合。3.根据权利要求1或2所述的方法，其特征在于，所述基于所述抓拍图像的属性信息，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录，包括：在所述抓拍图像的属性信息包括所述抓拍图像的图像标识的情况下，基于所述图像标识，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录。4.根据权利要求3所述的方法，其特征在于，所述目标历史轨迹包括第一历史轨迹记录，所述第一历史轨迹记录对应的抓拍图像的图像标识与所述轨迹记录对应的抓拍图像的图像标识相同；所述基于所述图像标识，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录，包括：基于所述图像标识，查询所述历史轨迹集合，确定所述历史轨迹集合中是否存在第一历史轨迹记录。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述基于所述抓拍图像的属性信息，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录，包括：在所述抓拍图像的属性信息包括所述抓拍图像对应的对象标识、抓拍设备标识和抓拍时间的情况下，基于所述对象标识、所述抓拍设备标识和所述抓拍时间，确定所述历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录。6.根据权利要求5所述的方法，其特征在于，所述目标历史轨迹包括第二历史轨迹记录，所述第二历史轨迹记录对应的抓拍图像的对象标识、抓拍设备标识分别与所述轨迹记录对应的抓拍图像的对象标识、抓拍设备标识相同；所述第二历史轨迹记录对应的抓拍图像的抓拍时间与所述轨迹记录对应的抓拍图像的抓拍时间之间的差值小于设定的第一时间阈值；所述基于所述对象标识、所述抓拍设备标识和所述抓拍时间，确定所述历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录，包括：基于所述对象标识、所述抓拍设备标识和所述抓拍时间，查询所述历史轨迹集合，确定所述历史轨迹集合中是否存在第二历史轨迹记录。7.根据权利要求6所述的方法，其特征在于，所述历史轨迹集合包括缓存的第二历史轨迹集合，所述第二历史轨迹集合中的每一历史轨迹记录以键值对的形式缓存；所述基于所述对象标识、所述抓拍设备标识和所述抓拍时间，查询所述历史轨迹集合，确定所述历史轨迹集合中是否存在第二历史轨迹记录，包括：基于所述对象标识和所述抓拍设备标识，生成目标键值名；
利用所述目标键值名查询所述第二历史轨迹集合；在所述第二历史轨迹集合中查询到键值名与所述目标键值名相同的历史轨迹记录，且所述历史轨迹记录对应的抓拍图像的抓拍时间与所述轨迹记录对应的抓拍图像的抓拍时间之间的差值小于所述第一时间阈值的情况下，确定所述历史轨迹集合中存在所述第二历史轨迹记录。8.根据权利要求7所述的方法，其特征在于，所述基于所述对象标识、所述抓拍设备标识和所述抓拍时间，查询所述历史轨迹集合，确定所述历史轨迹集合中是否存在第二历史轨迹记录，还包括：在满足以下之一条件的情况下，确定所述历史轨迹记录中不存在第二历史轨迹记录：所述第二历史轨迹集合中不存在键值名与所述目标键值名相同的历史轨迹记录；所述第二历史轨迹集合中存在键值名与所述目标键值名相同的历史轨迹记录，且所述历史轨迹记录对应的抓拍图像的抓拍时间与所述轨迹记录对应的抓拍图像的抓拍时间之间的差值不小于所述第一时间阈值。9.根据权利要求7或8所述的方法，其特征在于，所述方法还包括：在所述历史轨迹集合中不存在所述第二历史轨迹记录的情况下，基于所述目标键值名，以设定的第二时间阈值作为缓存有效期，将所述轨迹记录以键值对的形式缓存至所述第二历史轨迹集合。10.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：在所述历史轨迹集合中不存在所述目标历史轨迹记录的情况下，将所述轨迹记录上报至所述目标平台。11.一种数据处理装置，其特征在于，包括：获取模块，用于响应于接收到待上报的轨迹记录，获取所述轨迹记录对应的抓拍图像的属性信息；第一确定模块，用于基于所述抓拍图像的属性信息，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录；其中，所述历史轨迹集合中包括至少一个已上报至目标平台的历史轨迹记录；第二确定模块，用于在所述历史轨迹集合中存在所述目标历史轨迹记录的情况下，确定所述轨迹记录为重复上报轨迹。12.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至10任一项所述方法中的步骤。13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至10任一项所述方法中的步骤。

技术总结
本申请实施例公开了一种数据处理方法、装置、设备、存储介质，其中，所述方法包括：响应于接收到待上报的轨迹记录，获取所述轨迹记录对应的抓拍图像的属性信息；基于所述抓拍图像的属性信息，确定历史轨迹集合中是否存在与所述轨迹记录匹配的目标历史轨迹记录；其中，所述历史轨迹集合中包括至少一个已上报至目标平台的历史轨迹记录；在所述历史轨迹集合中存在所述目标历史轨迹记录的情况下，确定所述轨迹记录为重复上报轨迹。本申请实施例中，基于抓拍图像的属性信息可以准确地判断出重复上报的轨迹记录，从而有利于轨迹记录上报过程中的去重治理，进而有利于减少目标平台对轨迹记录进行存储或分析的成本。进行存储或分析的成本。进行存储或分析的成本。


技术研发人员：赵海川
受保护的技术使用者：北京市商汤科技开发有限公司
技术研发日：2021.11.11
技术公布日：2022/3/8