一种船舶智能航行瞭望辅助方法

本发明涉及船舶智能航行系统，具体涉及一种船舶智能航行瞭望辅助方法。

背景技术：

1、目前，船舶智能航行瞭望辅助系统因其在海洋航行领域的特殊需求而广受关注。该系统在特定海域监控、港口流量统计、海洋安全管理、未知舰船身份识别及行为分析等方面具有重要的战略意义。然而，这类系统实际的使用效果往往受到海浪干扰、云雾遮挡、目标运动变化等因素的影响，同时，低质量视频图像也会给目标跟踪带来一定的挑战。低分辨率视频会导致图像特征模糊化，影响目标识别；而低帧率或帧缺失的视频则会造成跟踪目标在过程中发生丢失。因此，提高船舶智能航行瞭望辅助系统识别与跟踪的准确率一直是人们关注的重点。

2、此前，有提出采用相关滤波(cf)等算法用于舰船跟踪，但这种方法只考虑了局部特征信息，容易受到背景干扰，对目标尺度变化和部分遮挡的适应性较差。后来，有人提出了基于背景差分的方法，虽然精度有所提升，但由于更新过慢，背景模型无法随环境变化而适应，对场景突变和动态背景的适应性较差。近年来，残差神经网络方法被用于舰船目标识别与跟踪，这种方法对高分辨率目标具有较好的抗干扰能力，但对于低分辨率目标，其识别性能则会有所降低。

3、此外使用ransac虽然能够很好的应用在船舶图像匹配的特征点筛选中，但在使用进行特征点筛选时，传统的ransac 算法阈值是根据经验设定的，阈值严格可能会排除一部分正确的对应点，阈值放宽，会有一部分正确的匹配点当作内点接受，但代价是匹配精度随之下降，若想要获得一个合适的阈值，需要大量的试验来调整，会消耗大量时间。

4、如何解决上述技术问题，是本领域技术人员致力于研究的方向。

技术实现思路

1、本发明的目的是提供一种船舶智能航行瞭望辅助方法。

2、为了解决上述技术问题，本发明是通过以下技术方案实现的：

3、一种船舶智能航行瞭望辅助方法，其特征在于，包括以下步骤：

4、s01，下载coco数据集，并使用you-get库从网络上爬取各类船舶航行数据用于模型训练和测试，基于opencv构建船舶全景影像系统；

5、s02，获取船舶多方位摄像头的视频流，使用sift特征提取算法提取图像中的关键点和特征描述子，采用快速近似最近邻flann算法将异源图像提取出来的特征点进行粗匹配，得到两张图像之间的所有匹配关键点对；

6、s03，利用步骤s02得到的匹配关键点对计算单应性矩阵h，使用改进后的自适应阈值ransac算法进一步优化特征点匹配，去除错误匹配，获得船舶航行的多方位全景影像图；

7、s04，引入yolov5目标检测算法在全景影像图上检测船舶航行过程中出现的各类目标；

8、s05，将通过步骤s04得到的检测结果传递给deepsort多目标跟踪算法，实现航行过程对船舶和其他目标的跟踪。

9、作为一种具体的实施方式，步骤s02中，使用sift特征提取算法提取图像中的关键点和特征描述子，步骤如下：

10、s11，创建一个高斯金字塔，包含原始图像及其不同尺度的高斯模糊版本；

11、s12，计算高斯金字塔中相邻尺度之间的差分高斯图像，即dog图像，在dog图像中寻找局部极值点作为潜在的关键点；

12、s13，对于每个潜在的关键点，通过插值方法精确定位关键点的位置和尺度；

13、s14，对每个关键点计算其邻域像素的梯度幅值和方向，并生成方向直方图，选择直方图中的主峰值作为关键点的主方向；

14、s15，以关键点为中心，在关键点的尺度上构建一个16×16大小的邻域窗口，将窗口划分为4×4个子区域，每个子区域计算8个方向的梯度直方图，将 128 维的特征向量归一化后作为关键点的特征描述符。

15、作为一种具体的实施方式，步骤s02中，采用快速近似最近邻flann算法将异源图像提取出来的特征点进行粗匹配，步骤如下：

16、s21，使用sift特征提取算法检测出的图像关键点为每个特征点计算描述符，将特征点及其描述符存储在numpy 数组中，以便后续处理；

17、s22，选择kd树构建flann索引并使用从第一幅图像提取出的 sift 特征描述符来训练 flann 索引；

18、s23，使用第二幅图像的特征描述符作为查询输入flann索引，获取最近邻的匹配特征点；

19、s24，通过 lowe 比率测试，计算最佳匹配与第二最佳匹配的距离比率，并根据设定的阈值筛选出可靠的匹配，进一步应用距离阈值判断，去除离群点。

20、作为一种具体的实施方式，步骤s03中，基于f1-score 最大化的自适应阈值ransac算法，过程如下：

21、s31，将粗匹配的特征点对按特征距离从小到大排序，选取排序后前 80% 的匹配点对组成新的匹配点集，计算单应性矩阵h；

22、s32，计算所有匹配点与其经过变换模型后的点之间的欧式距离，记为 d( p i， hp ei)，

23、，

24、式中： p i表示目标图像中第 i个匹配点； hp ei表示经过变换模型后的第 i个匹配点；

25、s33，计算上一步得到的最大值max_dis和最小值min_dis，

26、 max_dis＝ max[ d( p i ,hp ei)]，

27、 min_dis＝ min[ d( p i ,hp ei)]，

28、式中 i＝1,2,…, m，其中， m表示匹配点数；

29、s34，计算每一个阈值到另一个阈值的距离 step，每个阈值的值为：

30、，

31、 threshold( i)＝( step× i)+ min_ dis，

32、式中 i＝1: step: num,

33、其中 num为阈值个数， threshold( i)表示所求的自适应阈值；

34、s35，在阈值范围内遍历可能的阈值，利用选定的阈值计算被感知图像的点p与其变换后的模型中对应点hpei的距离，若距离大于2pixel，认为是误匹配的点，然后计算出准确率precision和召回率recall，进而得出 f1-score,准确率precision、召回率recall和f1-score的计算式如下：

35、；

36、；

37、；

38、式中：tp表示被正确匹配为正确的匹配点数；fp表示被错误匹配为正确的匹配点数；fn表示被错误匹配为错误的匹配点数；

39、s36，选择使f1-score最大的 threshold作为阈值，进行ransac算法内点的筛选。

40、作为一种具体的实施方式，步骤s04中，在全景影像图上检测船舶航行过程中出现的各类目标，其步骤包括：

41、s41，收集并标注包含船舶和其他目标的全景图像数据集，并对数据进行预处理；

42、s42，选择yolov5目标检测算法作为检测模型，对模型进行训练和调参；

43、s43，将步骤s42训练好的检测模型应用于全景图像，对图像中的各类目标进行检测，并将结果可视化；

44、s44，对检测模型的检测性能进行评估，分析不同类别目标的检测效果，并进行优化。

45、作为一种具体的实施方式，步骤s05中，将检测模型得到的检测结果和deepsort多目标跟踪算法集成，实现对船舶航行过程中各类目标的检测和跟踪，其步骤如下：

46、s51，使用训练好的检测模型对全景图像进行目标检测，获得各类目标的边界框位置和类别信息，目标包括船舶、浮标及障碍物；

47、s52，将步骤s51中的检测结果传递给deepsort多目标跟踪算法，deepsort多目标跟踪算法为每个新检测到的目标分配唯一的id，并初始化其跟踪状态，对于后续的图像帧，deepsort多目标跟踪算法利用当前帧的检测结果和上一帧的跟踪状态，预测并更新每个目标的位置和运动状态，结合目标的外观特征和运动信息，进行多目标跟踪；

48、s53，采用deepsort多目标跟踪算法持续跟踪每个目标，并维护其运动轨迹信息，包括位置序列、速度、航向；

49、s54，将deepsort多目标跟踪算法计算得到的目标轨迹信息绘制在全景图像上，直观展示各目标的运动情况。

50、与现有技术相比，本发明的有益之处是：

51、1）本发明采用多种先进的计算机视觉算法，实现了对复杂航行场景的全面感知。具体来说，它集成了基于深度学习的目标检测、基于传统视觉算法的单应性矩阵估计，以及基于外观特征和运动信息的多目标跟踪技术。这种算法融合的方式，充分发挥了不同方法的优势，能够有效应对海浪干扰、云雾遮挡、目标运动变化等复杂因素，提高了整体的感知准确性；系统采用了先进的深度学习和传统视觉算法相结合的方法，体现了技术融合的优势。深度学习模型如yolov5具有出色的目标检测性能，能够准确识别各类航行目标；而传统的视觉算法如sift特征匹配和ransac单应性矩阵估计，则提供了稳健的几何校正能力，解决了视角变化、部分遮挡等问题。两类算法的协同作用，大幅提升了系统在复杂航行场景下的感知能力；

52、2）在船舶图像的特征点匹配中，人工选择阈值会导致误匹配和漏匹配问题，本发明所提基于 f1-score 最大化的自适应的方式确定阈值，经过自适应阈值的处理后，船舶图像匹配在旋转、视角、亮度方面都有较好改善，准确率相较改进之前大大提高了，极大降低对手动设定阈值的依赖，提高算法的可靠性和实用性；

53、3）本发明还集成了deepsort多目标跟踪算法，能够持续跟踪每个航行目标，并维护其运动轨迹信息。这不仅可以为驾驶员提供目标的实时动态监控，还可以通过分析目标轨迹，识别异常行为，为海上安全管理提供重要参考依据。

技术特征：

1.一种船舶智能航行瞭望辅助方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种船舶智能航行瞭望辅助方法，其特征在于，步骤s02中，使用sift特征提取算法提取图像中的关键点和特征描述子，步骤如下：

3.根据权利要求1所述的一种船舶智能航行瞭望辅助方法，其特征在于，步骤s02中，采用快速近似最近邻flann算法将异源图像提取出来的特征点进行粗匹配，步骤如下：

4.根据权利要求1所述的一种船舶智能航行瞭望辅助方法，其特征在于，步骤s03中，基于f1-score 最大化的自适应阈值ransac算法，过程如下：

5.根据权利要求1所述的一种船舶智能航行瞭望辅助方法，其特征在于，步骤s04中，在全景影像图上检测船舶航行过程中出现的各类目标，其步骤包括：

6.根据权利要求1所述的一种船舶智能航行瞭望辅助方法，其特征在于，步骤s05中，将检测模型得到的检测结果和deepsort多目标跟踪算法集成，实现对船舶航行过程中各类目标的检测和跟踪，其步骤如下：

技术总结
本发明公开了一种船舶智能航行瞭望辅助方法，包括以下步骤：下载COCO数据集，爬取各类船舶航行数据，构建船舶全景影像系统；获取船舶多方位摄像头的视频流，使用SIFT特征提取算法提取图像中的关键点和特征描述子，采用快速近似最近邻FLANN算法将异源图像提取出来的特征点进行粗匹配，得到两张图像之间的所有匹配关键点对；利用得到的匹配关键点对计算单应性矩阵H，去除错误匹配，获得船舶航行的多方位全景影像图；引入YOLOv5目标检测算法在全景影像图上检测船舶航行过程中出现的各类目标；将模型得到的检测结果传递给DeepSort多目标跟踪算法。本发明能够辅助驾驶员进行海上航行驾驶，全面提高航行的安全性。

技术研发人员：秦海亭,金传双,周塔,周瑜,诸皓伟,李振龙,刘东升,曾佳佳
受保护的技术使用者：张家港江苏科技大学产业技术研究院
技术研发日：
技术公布日：2024/12/5