一种光视一体机时间同步控制系统的制作方法

1.本技术属于智能感知领域，具体涉及一种光视一体机时间同步控制系统。


背景技术：

2.随着半导体技术的发展，带动图像传感器的飞速发展提供了更高分辨率和更高帧率的二维图像数据，激光雷达技术的普及则实现了更高精度的三维测距。可靠的感知来源于多种传感器针对同一被测空间的同时探测。因此实现多种传感器的时间同步成为多传感器融合技术中的基本技术及目标。
3.现有多传感融合技术中，主要的实现形式为各传感器在完成初始化之后各自独立工作，gps模块同时分别提供给各传感器同步的时间信息，各传感器依据gps所提供的时间信息，将感知数据加上时间戳。例如ros的多传感器时间同步机制time synchronizer：通过时间同步器统一接收所有的传感器数据，只有当所有的传感器的时间戳相同时，才产生一个同步结果，因此该机制大大降低了具有时间同步感知结果的可能性。
4.现有激光雷达多采用机械旋转扫描型或mems的微振镜扫描型，扫描型的激光雷达由于机械部件自身旋转特性，无法实现类似于半导体器件一样的精确控制，因此，激光雷达的扫描频率总是在一个范围内波动，随着时间的累积，积分非线性将带来较大的误差，这是造成多传感融合过程中的时间同步精度差的主要原因。并且现有技术所实现的多传感融合中，由于各种设备之间的晶振工作频率不一致，稳定性不够，带来的直接后果就是传感器之间的时间同步精度差，甚至无法实现时间同步。


技术实现要素：

5.本技术的目的在于提供一种光视一体机时间同步控制系统，时间高精度的时间匹配。
6.为实现上述目的，本技术所采取的技术方案为：
7.一种光视一体机时间同步控制系统，所述光视一体机包括激光雷达和摄像头模组，所述光视一体机时间同步控制系统包括主控制器、所述激光雷达、所述摄像头模组和传感器数据融合装置，其中：
8.所述主控制器，用于维护自身的时间信息，根据自身的时间信息同步产生秒脉冲信号以及时间计数器，并向所述激光雷达输出时间信息和时间计数器，向所述摄像头模组输出秒脉冲信号；
9.所述激光雷达，用于接收主控制器输出的时间信息和时间计数器，基于时间信息和时间计数器维护的时间为采集的每帧点云数据加上时间戳，并将加上时间戳后的点云数据发送至所述传感器数据融合装置；
10.所述摄像头模组，用于根据主控制器发送的秒脉冲信号进行图像采集，并将采集的每帧图像数据反馈至所述主控制器；
11.所述主控制器，还用于基于自身维护的时间信息为所述摄像头模组反馈的每帧图
像数据加上时间戳，并将加上时间戳后的图像数据发送至所述传感器数据融合装置；
12.所述传感器数据融合装置，用于接收激光雷达发送的点云数据和摄像头模组发送的图像数据，并对具有相同时间戳的点云数据和图像数据进行数据融合。
13.以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
14.作为优选，所述传感器数据融合装置，对具有相同时间戳的点云数据和图像数据进行数据融合，包括：
15.基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，若时间不同步则结束本次数据融合；
16.否则进一步基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，若时间不同步则结束本次数据融合；否则进行数据融合。
17.作为优选，所述光视一体机为全局曝光型光视一体机，则所述摄像头模组为全局摄像头模组，所述激光雷达为扫描型激光雷达；
18.所述基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
19.令一帧图像数据的曝光时间跨度为
20.令一帧点云数据的曝光时间跨度为
21.若在范围之内，则当前具有相同时间戳的点云数据和图像数据时间同步；反之当前具有相同时间戳的点云数据和图像数据时间不同步。
22.作为优选，所述基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
23.对一帧点云数据中的每一个体素点进行标号，并根据点云数据的时间戳为每一个体素点标定出相对的曝光时刻；
24.对一帧图像数据中的每一个像素点进行标号，并根据图像数据的时间戳为每一个像素点标定出相对的曝光时刻；
25.取当前帧图像数据的帧起始时刻为曝光延迟时刻为则查询曝光时刻位于至时间范围内的体素点；
26.根据查询到的体素点的标号找出标号相对应的像素点，若所查询到的体素点和所找到的像素点的曝光时刻相同，则表示具有相同时间戳的点云数据和图像数据是否时间同步；否则时间不同步。
27.作为优选，所述光视一体机为卷帘曝光型光视一体机，则所述摄像头模组为卷帘摄像头模组，所述激光雷达为扫描型激光雷达；
28.所述基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
29.令一帧图像数据的曝光时间跨度为
30.令一帧点云数据的曝光时间跨度为
31.若和的范围存在交叉，且和的相对起始位置小于一列点云数据的曝光时间跨度，则当前具有相同时间戳的点云数据和图像数据时间同步；反之当前具有相同时间戳的点云数据和图像数据时间不同步。
32.作为优选，所述基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
33.对一帧点云数据中的每一个体素点进行标号，并根据点云数据的时间戳为每一个体素点标定出相对的曝光时刻；
34.对一帧图像数据中的每一个像素点进行标号，并根据图像数据的时间戳为每一个像素点标定出相对的曝光时刻；
35.取当前帧图像数据的帧起始时刻为曝光延迟时刻为第n列像素点的曝光时刻为则查询曝光时刻位于至时间范围内的体素点；
36.根据查询到的体素点的标号找出标号相对应的像素点，若所找出的像素点正好位于第n列，则此列像素点与体素点匹配成功；否则此列像素点与体素点匹配不成功；
37.遍历图像数据中的每一列像素点，若匹配成功的比例大于阈值，则表示具有相同时间戳的点云数据和图像数据是否时间同步；否则时间不同步。
38.本技术提供的光视一体机时间同步控制系统，通过主控制器维护的时间信息产生秒脉冲信号及时间计数器实现多传感器数据融合中的高精度时间同步。具体实现激光雷达与摄像头每帧图像之间的时间同步，以及激光雷达体素点与摄像头的像素点之间的时间同步。
附图说明
39.图1为本技术的光视一体机时间同步控制系统的结构示意图；
40.图2为本技术全局曝光型光视一体机曝光相对时区示意图；
41.图3为本技术光视一体机体素点与像素点曝光相对示意图；
42.图4为本技术卷帘曝光型光视一体机曝光相对时区示意图。
具体实施方式
43.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
44.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本技术。
45.本实施例基于主控制器维护的时间信息产生秒脉冲信号及时间计数器的多传感
融合中的高精度时间同步方法，实现了可靠的帧同步方法。
46.如图1所示，本实施例的光视一体机包括激光雷达和摄像头模组，因此光视一体机时间同步控制系统包括主控制器、所述激光雷达、所述摄像头模组和传感器数据融合装置。
47.主控制器，用于维护自身的时间信息，根据自身的时间信息同步产生秒脉冲信号以及时间计数器，并向所述激光雷达输出时间信息和时间计数器，向所述摄像头模组输出秒脉冲信号；
48.激光雷达，用于接收主控制器输出的时间信息和时间计数器，基于时间信息和时间计数器维护的时间为采集的每帧点云数据加上时间戳，并将加上时间戳后的点云数据发送至所述传感器数据融合装置；
49.摄像头模组，用于根据主控制器发送的秒脉冲信号进行图像采集，并将采集的每帧图像数据反馈至所述主控制器；
50.主控制器，还用于基于自身维护的时间信息为所述摄像头模组反馈的每帧图像数据加上时间戳，并将加上时间戳后的图像数据发送至所述传感器数据融合装置；
51.传感器数据融合装置，用于接收激光雷达发送的点云数据和摄像头模组发送的图像数据，并对具有相同时间戳的点云数据和图像数据进行数据融合。
52.即本实施例的光视一体机时间同步控制系统的一种工作流程为：
53.1)系统在上电完成初始化，摄像头模组进入掉电模式；
54.2)配置主控制器进入工作状态，完成时间的维护并输出时间信息、秒脉冲信号及时间计数器；
55.3)配置激光雷达工作参数，进入工作状态，激光雷达根据接收到主控制器发送的时间信息和时间计数器，为每帧的点云数据加上时间戳；
56.4)主控制器根据自身维护的的时间信息和秒脉冲信号，唤醒摄像头，摄像头模组完成相应帧数的图像采集之后，譬如20帧之后(所述摄像头的帧率初始化配置应大于20帧)重新进入掉电模式，等待下一次秒脉冲信号的到来；
57.5)主控制器接收摄像头模组采集的图像数据，并将主控制器维护的时间信息作为时间戳加入图像数据。
58.本实施例由于摄像头模组是根据秒脉冲信号进行唤醒操作，因此每秒钟的图像起始精度主要由秒脉冲信号决定。
59.为了保证数据融合具有高精度的时间同步，保证数据融合的有效性，本实施例在进行数据融合之前先基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，若时间不同步则结束本次数据融合；
60.否则进一步基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，若时间不同步则结束本次数据融合；否则进行数据融合。
61.经过对帧时间和像素时间的双重同步判断，能够将用于数据融合的数据的时间保持高同步性。需要说明的是，传感器数据融合装置进行的数据融合操作为激光雷达和摄像头数据融合的常规操作，其具体的数据融合步骤不做作本技术的重点，在此不再进行详述。
62.根据摄像头模组的类型的不同，光视一体机可分为全局曝光型光视一体机和卷帘曝光型光视一体机，以下根据不同类型的光视一体机对诊时间和像素时间的同步判断进行
详述。
63.(一)光视一体机为全局曝光型光视一体机，则所述摄像头模组为全局摄像头模组，所述激光雷达为扫描型激光雷达。
64.如图2所示，基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
65.令一帧图像数据的曝光时间跨度为
66.令一帧点云数据的曝光时间跨度为
67.摄像头一帧图像全局曝光时区跨度较小，扫描型激光雷达一帧点云数据曝光时区跨度较大，即远大于全局曝光型的摄像头曝光时区应该包含在激光雷达一帧点云数据曝光时区方位内。因此若在范围之内，则当前具有相同时间戳的点云数据和图像数据时间同步；反之当前具有相同时间戳的点云数据和图像数据时间不同步。
68.如图3所示，光视一体机中激光雷达体素点和摄像头的像素点是一对多的关系，主要是由于摄像头的像素分辨率远高于激光雷达的分辨率，因此几个像素点和激光雷达的一个体素点对应。因此基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
69.对一帧点云数据中的每一个体素点进行标号，并根据点云数据的时间戳为每一个体素点标定出相对的曝光时刻；其中一维扫描型激光雷达的每列体素点的曝光时刻是一致的。二维扫描型激光雷达的每个体素点的曝光时刻均由标定给出相对时间。
70.对一帧图像数据中的每一个像素点进行标号，并根据图像数据的时间戳为每一个像素点标定出相对的曝光时刻；
71.取当前帧图像数据的帧起始时刻为曝光延迟时刻为则查询曝光时刻位于至时间范围内的体素点；
72.根据查询到的体素点的标号找出标号相对应的像素点，若所查询到的体素点和所找到的像素点的曝光时刻相同，则表示具有相同时间戳的点云数据和图像数据是否时间同步；否则时间不同步。
73.即本实施例的摄像头全局曝光模式下：所有像素点的曝光时间均为同一时刻，即帧起始时刻为曝光延迟时刻为则曝光时刻为然后查询对应时间范围内的体素点的曝光时刻，根据查询到的体素点标号，再找出对应的像素点标号，将像素点和体素点进行比对，即可实现该体素点对应位置的信息融合同步，将此体素点即可作为融合基准。
74.(二)光视一体机为卷帘曝光型光视一体机，则所述摄像头模组为卷帘摄像头模组，所述激光雷达为扫描型激光雷达。
75.如图4所示，则基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
76.令一帧图像数据的曝光时间跨度为
77.令一帧点云数据的曝光时间跨度为通常
78.若和的范围存在交叉，且和的相对起始位置小于一列点云数据的曝光时间跨度，则当前具有相同时间戳的点云数据和图像数据时间同步；反之当前具有相同时间戳的点云数据和图像数据时间不同步。
79.基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
80.对一帧点云数据中的每一个体素点进行标号，并根据点云数据的时间戳为每一个体素点标定出相对的曝光时刻；
81.对一帧图像数据中的每一个像素点进行标号，并根据图像数据的时间戳为每一个像素点标定出相对的曝光时刻；
82.取当前帧图像数据的帧起始时刻为曝光延迟时刻为第n列像素点的曝光时刻为则查询曝光时刻位于至时间范围内的体素点；
83.根据查询到的体素点的标号找出标号相对应的像素点，若所找出的像素点正好位于第n列，则此列像素点与体素点匹配成功；否则此列像素点与体素点匹配不成功；
84.遍历图像数据中的每一列像素点，若匹配成功的比例大于阈值，则表示具有相同时间戳的点云数据和图像数据是否时间同步；否则时间不同步。
85.即本实施例的摄像头卷帘曝光模式下：每列像素处于同一曝光时刻，每列之间的曝光时刻间隔是固定的，譬如帧起始时刻为每列曝光延迟时刻为则第n列的曝光时刻为然后查询对应时间范围内的体素点的曝光时刻，根据查询到的体素点标号，再找出对应的像素点标号，如果该像素点标号正好在第n列像素的曝光时刻，那么即表明此体素点为融合基准点，否则再寻找下一列像素对应的体素点，如果所有位置都寻找完毕，无对应的体素点，则此帧图像为非曝光时间同步点，最后根据所匹配的像素点和体素点的比例，进行最终的时间同步判据。
86.本实施例在进行数据融合之前根据不仅对帧时间进行判断，还进一步根据像素时间进行判断，为摄像头像素点与激光雷达体素点实现多对一配准(图像分辨率一般远高于激光雷达的空间分辨率)，针对每一个像素点，依据曝光时刻标定出相对的曝光时间，针对每一个体素点，依据曝光时刻标定出相对的曝光时间，像素点的时间如果与体素点的曝光时间一致，则表明此点具有有效的数据融合结果，反之，则表明数据融合结果不可信，从而保证数据融合的有效性，正在实现数据的时间同步。
87.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
88.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种光视一体机时间同步控制系统，所述光视一体机包括激光雷达和摄像头模组，其特征在于，所述光视一体机时间同步控制系统包括主控制器、所述激光雷达、所述摄像头模组和传感器数据融合装置，其中：所述主控制器，用于维护自身的时间信息，根据自身的时间信息同步产生秒脉冲信号以及时间计数器，并向所述激光雷达输出时间信息和时间计数器，向所述摄像头模组输出秒脉冲信号；所述激光雷达，用于接收主控制器输出的时间信息和时间计数器，基于时间信息和时间计数器维护的时间为采集的每帧点云数据加上时间戳，并将加上时间戳后的点云数据发送至所述传感器数据融合装置；所述摄像头模组，用于根据主控制器发送的秒脉冲信号进行图像采集，并将采集的每帧图像数据反馈至所述主控制器；所述主控制器，还用于基于自身维护的时间信息为所述摄像头模组反馈的每帧图像数据加上时间戳，并将加上时间戳后的图像数据发送至所述传感器数据融合装置；所述传感器数据融合装置，用于接收激光雷达发送的点云数据和摄像头模组发送的图像数据，并对具有相同时间戳的点云数据和图像数据进行数据融合。2.如权利要求1所述的光视一体机时间同步控制系统，其特征在于，所述传感器数据融合装置，对具有相同时间戳的点云数据和图像数据进行数据融合，包括：基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，若时间不同步则结束本次数据融合；否则进一步基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，若时间不同步则结束本次数据融合；否则进行数据融合。3.如权利要求2所述的光视一体机时间同步控制系统，其特征在于，所述光视一体机为全局曝光型光视一体机，则所述摄像头模组为全局摄像头模组，所述激光雷达为扫描型激光雷达；所述基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：令一帧图像数据的曝光时间跨度为令一帧点云数据的曝光时间跨度为若在范围之内，则当前具有相同时间戳的点云数据和图像数据时间同步；反之当前具有相同时间戳的点云数据和图像数据时间不同步。4.如权利要求3所述的光视一体机时间同步控制系统，其特征在于，所述基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：对一帧点云数据中的每一个体素点进行标号，并根据点云数据的时间戳为每一个体素点标定出相对的曝光时刻；对一帧图像数据中的每一个像素点进行标号，并根据图像数据的时间戳为每一个像素点标定出相对的曝光时刻；
取当前帧图像数据的帧起始时刻为曝光延迟时刻为则查询曝光时刻位于至时间范围内的体素点；根据查询到的体素点的标号找出标号相对应的像素点，若所查询到的体素点和所找到的像素点的曝光时刻相同，则表示具有相同时间戳的点云数据和图像数据是否时间同步；否则时间不同步。5.如权利要求2所述的光视一体机时间同步控制系统，其特征在于，所述光视一体机为卷帘曝光型光视一体机，则所述摄像头模组为卷帘摄像头模组，所述激光雷达为扫描型激光雷达；所述基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：令一帧图像数据的曝光时间跨度为令一帧点云数据的曝光时间跨度为若和的范围存在交叉，且和的相对起始位置小于一列点云数据的曝光时间跨度，则当前具有相同时间戳的点云数据和图像数据时间同步；反之当前具有相同时间戳的点云数据和图像数据时间不同步。6.如权利要求5所述的光视一体机时间同步控制系统，其特征在于，所述基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：对一帧点云数据中的每一个体素点进行标号，并根据点云数据的时间戳为每一个体素点标定出相对的曝光时刻；对一帧图像数据中的每一个像素点进行标号，并根据图像数据的时间戳为每一个像素点标定出相对的曝光时刻；取当前帧图像数据的帧起始时刻为曝光延迟时刻为第n列像素点的曝光时刻为则查询曝光时刻位于至时间范围内的体素点；根据查询到的体素点的标号找出标号相对应的像素点，若所找出的像素点正好位于第n列，则此列像素点与体素点匹配成功；否则此列像素点与体素点匹配不成功；遍历图像数据中的每一列像素点，若匹配成功的比例大于阈值，则表示具有相同时间戳的点云数据和图像数据是否时间同步；否则时间不同步。

技术总结
本发明公开了一种光视一体机时间同步控制系统，光视一体机包括激光雷达和摄像头模组，光视一体机时间同步控制系统包括主控制器、激光雷达、摄像头模组和传感器数据融合装置。本发明基于主控制器维护的时间信息产生秒脉冲信号及时间计数器的多传感融合中的高精度时间同步方法，实现了可靠的帧同步方法。实现了可靠的帧同步方法。实现了可靠的帧同步方法。


技术研发人员：程坤
受保护的技术使用者：中电海康集团有限公司
技术研发日：2021.12.28
技术公布日：2022/3/8