一种船用全景影像船艏盲区补全方法和装置与流程

1.本发明属于智能视觉技术领域，尤其涉及一种船用全景影像船艏盲区补全方法和装置。


背景技术：

2.传统船用360技术仅仅能观察到船舶周围可视范围内的水域，具体来说是船上人员利用传统船用360视觉系统来观察的水域范围即鸟瞰图下的可视范围。一般情况下，船舶的船艏均存在部分离开水面的上仰船体，由于该部分遮挡，无法通过鸟瞰图观察到该部分下方的水面区域。在一些较为狭小的水域，驾驶员通常利用这部分区域来更好地进行调头操作，此时船艏往往会处于低矮障碍物上方，当船体靠近障碍物时，船艏底部的部分船体可能存在与障碍物碰撞的风险，而当船体与障碍物距离过远时，则不能与后方船舶或其他障碍物保持安全距离，所以需要安装相应的摄像设备对该区域进行监控。
3.虽然传统的船舶360全景影像系统已经具备广阔的监控水面视野范围，但是对于某些船舶来说，船舶艏部下方存在视野盲区，船艏下盲区视野的可视化是目前急迫要解决的问题。


技术实现要素：

4.本发明要解决的技术问题是，提供一种船用全景影像船艏盲区补全方法和装置，可以提高驾驶人员利用该区域在狭窄水道调头的安全性以及实现对该视野盲区的实时监控。
5.为实现上述目的，本发明采用如下的技术方案：
6.一种船用全景影像船艏盲区补全方法，包括：
7.步骤s1、对摄像头的采集图像进行预处理，所述预处理为取流与解码；
8.步骤s2、采用opencv的cuda模块函数对预处理后图像进行校正处理；
9.步骤s3、对校正处理后图像通过图像俯视变换进行标定；
10.步骤s4、对俯视变换后图像采用伽马颜色校正实现亮度均一化处理；
11.步骤s5、对亮度均一化处理后图像划分配准图区域，通过分区域拷贝图像方式获取全景图像。
12.作为优选，在船艏、船艉、右舷和左舷通过摄像头支架杆安装四个摄像头，所述摄像头支架杆包含：第一钢管、第二钢管，第一钢管、第二钢管垂直连接以形成直角，在第二钢管的底部设有用于固定摄像头的卡扣结构，通过调节卡扣的角度以此来调整摄像头的角度，来获取更合适的视野范围。
13.作为优选，所述第一钢管、第二钢管分别为316l材质的钢管。
14.作为优选，步骤s1中采用ffmpeg进行摄像头取流与解码。
15.作为优选，步骤s3中采用opencv的cuda::warpperspective()函数实现图像的俯视变换。
16.作为优选，步骤s4中伽马颜色校正为预先设定一个适合人眼观看的亮度值，通过计算当前图像的亮度值与设定亮度值间的待调整参数，将当前图像调整到合适亮度；其中，设定亮度值取值范围为0-255。
17.本发明还提供一种船用全景影像船艏盲区补全装置，包括：
18.预处理模块，用于对摄像头的采集图像进行预处理，所述预处理为取流与解码；
19.校正模块，用于采用opencv的cuda模块函数对预处理后图像进行校正处理；
20.标定模块，用于对校正处理后图像通过图像俯视变换进行标定；
21.亮度处理模块，用于对俯视变换后图像采用伽马颜色校正实现亮度均一化处理；
22.补全模块，用于对亮度均一化处理后图像划分配准图区域，通过分区域拷贝图像方式获取全景图像。
23.作为优选，在船艏、船艉、右舷和左舷通过摄像头支架杆安装四个摄像头，所述摄像头支架杆包含：第一钢管、第二钢管，第一钢管、第二钢管垂直连接以形成直角，在第二钢管的底部设有用于固定摄像头的卡扣结构，通过调节卡扣的角度以此来调整摄像头的角度，来获取更合适的视野范围。
24.作为优选，所述第一钢管、第二钢管分别为316l材质的钢管。
25.本发明技术方案可以完成多个摄像头画面实时拼接，获得真实、无死角、无盲区的鸟瞰全景俯视图,有效避免了采用多个摄像头和拼接算法来获取全景视图导致的拼接区域模糊、视野盲区、画面不真实的问题,大大提高了用户体验；通过相应的摄像设备获取该盲区的视野，并与船舶360全景影像系统融合，在界面上将相应的盲区视野显示出来。
附图说明
26.图1为船用全景影像船艏盲区补全方法的流程图；
27.图2为摄像头支架杆的结构图；
28.图3为四个摄像头全景图像示意图；
29.图4为四摄像头+船艏下方摄像头全景图像示意图；
30.图5为船用全景影像船艏盲区补全装置的结构图。
具体实施方式
31.下文将参考附图并结合实施例来详细说明本发明。
32.如图1所示，本发明提供一种船用全景影像船艏盲区补全方法，包括：
33.步骤s1、对摄像头的采集图像进行取流与解码，采用ffmpeg进行摄像头取流与解码，采用ffmpeg取流解码可获取到低延时的摄像头图像，满足全景系统对实时性的要求。其中，由于现有的船用360全景影像系统仅依靠船艏、船艉、右舷和左舷四个摄像头，会造成船艏下方始终存在盲区，所以加装摄像头来处理盲区，船艏下方空间比较小，而且要保持船体结构不能随意安装，所以本发明在船艏、船艉、右舷和左舷通过摄像头支架杆安装四个摄像头，通过摄像头支架杆来测试处于不同位置时的视野范围。测试标准是该位置下的摄像头能够采集到船艏下方全部的景象，并尽可能地易于安装且较少海水腐蚀，摄像头支架杆如图2所示，摄像头支架杆包含：第一钢管1、第二钢管2，第一钢管1、第二钢管2垂直连接以形成直角，第一钢管1、第二钢管2分别为316l材质的钢管，在第二钢管2的底部设有卡扣结构
3，卡扣结构通过螺丝固定摄像头4，通过调节卡扣的角度以此来调整摄像头4的角度，来获取更合适的视野范围；
34.步骤s2、采用opencv的cuda模块函数进行校正处理，采用cuda模块函数处理图像速度比非cuda模块函数处理图像速度提升几十倍，可在1-2ms内实现图像校正。
35.步骤s3、通过图像的俯视变换进行标定，采用opencv的cuda::warpperspective()函数实现图像的俯视变换，该函数的输入参数为俯视变换矩阵。该矩阵可通过cv::findhomography()或cv::getperspectivetransform()函数得到，函数的输入参数是真实世界中标志物的坐标点与校正图像中标志物的坐标点，坐标点的获取需建立基于水面的统一坐标系。输入两者的坐标点，即可计算得到对应俯视变换矩阵，实现图像的俯视变换。将真实世界中标志物的坐标点与校正图像中标志物的坐标点输入到俯视变换的函数中，坐标点的获取需建立基于水面的统一坐标系。输入两者的坐标点，即可计算得到对应俯视变换矩阵，实现图像的俯视变换。
36.步骤s4、采用伽马颜色校正公式实现亮度均一化处理。采用伽马颜色校正公式实现亮度均一化处理，伽马颜色校正公式是预先设定一个适合人眼观看的亮度值，通过计算当前图像的亮度值与设定亮度值间的待调整参数，将当前图像调整到合适亮度。亮度值取值范围为0-255，假设预设亮度值为128，首先进行归一化处理，即在[0,1]内取值，得到归一化后数值valuef，计算公式为valuef＝(128+0.5)/255。然后再计算原图像的通道平均值，采用遍历像素点的方式，求出原图像的通道平均值，将其视作亮度值。该值也进行归一化处理，归一化后数值记作valuef1。通过以上两值，计算出原图的调整参数，记作valuegamma，计算公式为valuegamma＝log(valuef)/log(valuef1)。得出调整参数后，最后对原图像素值进行遍历调整即可，设原像素值为x，调整后为adjustx,调整公式为adjustx＝pow((x+0.5)/255,valuegamma)*255。伽马颜色校正公式是预先设定一个适合人眼观看的亮度值，通过计算当前图像的亮度值与设定亮度值间的待调整参数，将当前图像调整到合适亮度。
[0037]
步骤s5、建立配准图，划分配准图区域，通过分区域拷贝图像的方法获取全景图像。四个摄像头时，全景图像示意图如图3所示，第一区域表示四个摄像头画面，第二区域为盲区；在船艏下方添加摄像头后，全景图像拼接示意图如图4所示，第三区域为船艏及船舷角下方摄像头采集区域。
[0038]
如图5所示，本发明还提供一种船用全景影像船艏盲区补全装置，实现上述船用全景影像船艏盲区补全方法，包括：
[0039]
预处理模块，用于对摄像头的采集图像进行预处理，所述预处理为取流与解码；
[0040]
校正模块，用于采用opencv的cuda模块函数对预处理后图像进行校正处理；
[0041]
标定模块，用于对校正处理后图像通过图像俯视变换进行标定；
[0042]
亮度处理模块，用于对俯视变换后图像采用伽马颜色校正实现亮度均一化处理；
[0043]
补全模块，用于对亮度均一化处理后图像划分配准图区域，通过分区域拷贝图像方式获取全景图像。
[0044]
本发明的有益效果为：
[0045]
1、可以完成多个摄像头画面实时拼接，获得真实、无死角、无盲区的鸟瞰全景俯视图,有效避免了采用多个摄像头和拼接算法来获取全景视图导致的拼接区域模糊、视野盲区、画面不真实的问题,大大提高了用户体验；
[0046]
2、可以对船艏下方盲区进行图像补全，对船用360全景影像船艏及船舷角下方盲区进行监测，扩大了船舶360全景影像的视野范围，提高了船舶航行和靠离泊时的安全性。
[0047]
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

技术特征：
1.一种船用全景影像船艏盲区补全方法，其特征在于，包括：步骤s1、对摄像头的采集图像进行预处理，所述预处理为取流与解码；步骤s2、采用opencv的cuda模块函数对预处理后图像进行校正处理；步骤s3、对校正处理后图像通过图像俯视变换进行标定；步骤s4、对俯视变换后图像采用伽马颜色校正实现亮度均一化处理；步骤s5、对亮度均一化处理后图像划分配准图区域，通过分区域拷贝图像方式获取全景图像。2.如权利要求1所述的船用全景影像船艏盲区补全方法，其特征在于，在船艏、船艉、右舷和左舷通过摄像头支架杆安装四个摄像头，所述摄像头支架杆包含：第一钢管、第二钢管，第一钢管、第二钢管垂直连接以形成直角，在第二钢管的底部设有用于固定摄像头的卡扣结构，通过调节卡扣的角度以此来调整摄像头的角度，来获取更合适的视野范围。3.如权利要求2所述的船用全景影像船艏盲区补全方法，其特征在于，所述第一钢管、第二钢管分别为316l材质的钢管。4.如权利要求2所述的船用全景影像船艏盲区补全方法，其特征在于，步骤s1中采用ffmpeg进行摄像头取流与解码。5.如权利要求2所述的船用全景影像船艏盲区补全方法，其特征在于，步骤s3中采用opencv的cuda::warpperspective()函数实现图像的俯视变换。6.如权利要求2所述的船用全景影像船艏盲区补全方法，其特征在于，步骤s4中伽马颜色校正为预先设定一个适合人眼观看的亮度值，通过计算当前图像的亮度值与设定亮度值间的待调整参数，将当前图像调整到合适亮度；其中，设定亮度值取值范围为0-255。7.一种船用全景影像船艏盲区补全装置，其特征在于，包括：预处理模块，用于对摄像头的采集图像进行预处理，所述预处理为取流与解码；校正模块，用于采用opencv的cuda模块函数对预处理后图像进行校正处理；标定模块，用于对校正处理后图像通过图像俯视变换进行标定；亮度处理模块，用于对俯视变换后图像采用伽马颜色校正实现亮度均一化处理；补全模块，用于对亮度均一化处理后图像划分配准图区域，通过分区域拷贝图像方式获取全景图像。8.如权利要求7所述的船用全景影像船艏盲区补全装置，其特征在于，在船艏、船艉、右舷和左舷通过摄像头支架杆安装四个摄像头，所述摄像头支架杆包含：第一钢管、第二钢管，第一钢管、第二钢管垂直连接以形成直角，在第二钢管的底部设有用于固定摄像头的卡扣结构，通过调节卡扣的角度以此来调整摄像头的角度，来获取更合适的视野范围。9.如权利要求8所述的船用全景影像船艏盲区补全装置，其特征在于，所述第一钢管、第二钢管分别为316l材质的钢管。

技术总结
本发明公开一种船用全景影像船艏盲区补全方法和装置，包括：步骤1、对摄像头的采集图像进行预处理，所述预处理为取流与解码；步骤2、采用opencv的cuda模块函数对预处理后图像进行校正处理；步骤3、对校正处理后图像通过图像俯视变换进行标定；步骤4、对俯视变换后图像采用伽马颜色校正实现亮度均一化处理；步骤5、对亮度均一化处理后图像划分配准图区域，通过分区域拷贝图像方式获取全景图像。采用本发明的技术方案，在对船舶360全景系统显示界面的盲区补全。盲区补全。盲区补全。


技术研发人员：董晓斐 王晓原 姜雨函 张朋元 夏国强 杨顺利 桑文征
受保护的技术使用者：智慧航海（青岛）科技有限公司
技术研发日：2021.12.03
技术公布日：2022/3/8