一种基于单目视觉和测距信息融合的无人机避障方法

1.本发明属于无人机应用的领域，具体来说涉及一种基于单目视觉和测距信息融合的无人机避障方法，该方法能够为无人机提供经济、高效的避障解决方案。


背景技术：

2.无人机由于其灵活、低成本和高机动等优势，在许多关键任务中得到了广泛的应用。为使无人机能够在复杂甚至恶劣的环境中有效地执行任务，需要无人机能够自主地识别和回避障碍物。为避免无人机与障碍物相撞，无人机需要具有环境感知、目标跟踪、路径规划和飞控执行等能力。所谓环境感知，需要无人机利用自身装备的环境感知传感器检测周围的障碍物，获取障碍物与载机的相对距离及角位置信息。所谓目标跟踪，通过对多种传感器检测到的障碍物相关数据进行分析和处理，实时地更新障碍物的动态信息，为规划避障路径提供参考。所谓路径规划，即根据检测到的障碍物信息结合无人机的飞行状态和限制，动态地制定出合适的避障路径。所谓飞控执行，即基于规划的避障路径调整控制无人机的飞行速度和飞行方向，实现无人机按路径飞行。
3.随着低成本无人机向小巧轻便的方向发展，它们所能携带的传感器的重量、设备的通信半径、控制器的计算能力和系统的能耗都受到了限制，采用低成本传感设备和高效避障算法实现无人机避障是面临的技术挑战之一。目前无人机感知障碍物主要有两种方法：一是采用红外、超声波、毫米波、激光等传感器，设法检测出障碍物的距离和形态等信息，但这些传感器往往存在距离、重量、能耗等这样那样的限制因素。二是通过视觉设备(通常是双目摄像头等)获取无人机前方的图像信息，并用某种图像形态学算法或者机器学习算法进行处理，以得到障碍物的距离和形态，这些方法往往需要较昂贵的设备并耗费大量的计算资源。显然，目前还需要一种低成本、高效率的无人机避障技术。


技术实现要素：

4.[发明目的]：本专利提出了一种基于单目视觉和测距信息融合的无人机避障技术与方法，以经济高效的手段实现无人机避障。
[0005]
[技术方案]：
[0006]
针对现有小型低成本无人机的避障存在的设备价格高、技术复杂等问题，本发明提出了一种基于单目视觉和测距信息融合、经济高效的无人机避障技术与方法。
[0007]
本发明的技术方案是：
[0008]
1、一种基于单目视觉和测距信息融合的系统，其特征在于：
[0009]
a.硬件系统由单目视觉传感器、测距设备和嵌入式开发板组成，其组成结构如图1所示。其中单目视传感器和测距设备通过数据线与嵌入式开发板相连，开发板同时提供接口，可与无人机相连。整个硬件系统轻便，可以安置于小型无人机机身上。
[0010]
b.控制软件系统安装于嵌入式开发板的嵌入式操作系统中，它主要由障碍物识别、路径规划和无人机控制模块组成。其中障碍物识别的数据来源于单目视觉传感器和测
距设备，路径规划的数据来源于障碍物识别结果和与嵌入式开发板相连的无人机设备提供，无人机控制视不同的无人机系统而不同。整个控制软件系统消耗内存资源小，不与无人机共享计算资源。
[0011]
2、一种基于单目视觉特征点的识别障碍物的模型，其特征在于：
[0012]
a.图2显示了随着无人机相对障碍物移动，障碍物在摄像头内的成像关系，其中点o表示原点，即无人机所处的位置。障碍物上的一点x，在焦距为f的摄像头成像平面上对应的点为x；
[0013]
b.随着时间变化，该模型内障碍物总是表现出向原点移动的特性(远离原点或者保持不变的物体，不会对无人机造成威胁，即不构成障碍物)，所以，如图2所示，在下一刻，障碍物上一点x向o位移了δz至x
′
，其在成像平面上对应点变为x
′
。因此，随着障碍物的位移，其在成像平面上的点x与x
′
的变化关系为：
[0014][0015]
式(1)中z为障碍物与原点o的初始距离；
[0016]
c.与原点初始距离不同的点，其向原点位移相同的距离，在成像平面上，会表现出不同的变化。假设存在相对静止的点a＝(xa，ya，za)
t
和b＝(xb，yb，4za)
t
，b距离原点较a远。这两个点同时向原点沿z轴平移za/2，平移后得到的点为a’＝(xa，ya，za/2)
t
和b’＝(xb，yb，7za/2)
t
，据式(1)，可以得到点a和b在成像平面上的点距离成像平面中心的变化：
[0017][0018]
式(2)中分别为点a和b和其位移后的点a
′
和b
′
在成像平面上的投影点到成像平面中心的距离。对此结果的一个直观的结论是，虽然随着点a和b以相同距离接近原点，它们在图像平面上的投影都在远离成像平面中心，但是距离原点更近的点的投影远离成像平面中心的速度更快。
[0019]
3、根据技术方案1所述的模型，一种障碍物检测方法(domd)，其特征在于：
[0020]
a.利用特征点提取算法orb和特征点匹配算法flann，能够关联两张以固定时间间隔拍摄的无人机前方单目视觉图像，图像的来源是无人机上便于携带的小型单目摄像头。
[0021]
b.通过将摄像头置于无人机机头朝向方向，能够获取到无人机飞行正方向的图像信息{frame1，frame2...framen}，通过orb算法，能够提取到每一帧信息的特征点kpi＝orb(framei)，通过flann算法，能够得到任意两帧图像之间匹配的特征点合集(索引集)id
ij
＝flann(kpi，kpj)；
[0022]
c.通过测距设备，能够测得无人机前方障碍物与无人机之间的距离。通过将测距设备置于无人机机头朝向方向，同时保证测距设备与摄像头处于同一垂线，能够获取到无人机飞行正方向可能存在的障碍物到无人机摄像头的距离信息d；
[0023]
d.确定特征点变化率α：
[0024]
[0025]
其中id＝flann(kp1，kp2)
[0026]
式(3)中，(c
x
，cy)表示成像平面的图心，它的具体数值直接来源于摄像头的内参。通过式(3)，我们可以确定无人机前方所有特征点的运动变化关系，即特征点变化率α。
[0027]
e.确定障碍物的特征点的变化率范围：
[0028][0029]
式(4)中，v是无人机飞行的速度，t为两帧图像之间的拍摄间隔。选择α＞βk的特征点，将会过滤较远的背景信息，并且对于可能存在的特征点位置误差存在一定的容忍。而(2-β)k＞α则可以将匹配算法产生的一些错误匹配的点滤除，因为无人机匀速向前飞行时，障碍物的变化率不会过大，而常数β本身的取值被实验确定为0.8；
[0030]
f.障碍物上特征点的聚类和障碍物边界距离检测：
[0031][0032]
式(5)为对于前方距离被检测为d的障碍物的特征点聚类结果。通过取u
obstacle
内的4个边界点，即可以得到障碍物的边界距离；
[0033]
g.基于单目视觉特征点和距离确定障碍物(domd)算法描述如下：
[0034][0035]
4、根据技术方案1所述的模型，一种基于障碍物检测算法(domd)的避障子航线规划方法，其特征在于：
[0036]
a.通过domd算法得到的信息，可以根据dubins路径快速的得到一条让无人机绕过障碍物到达目的地的最短航线。
[0037]
b.当无人机前方存在复数障碍物时，通过domd算法能能够得到最近障碍物的边界与无人机的相对距离，通过不断的调用domd算法和子航线规划算法，能够达到回避复数障碍物的效果。
[0038]
c.根据domd算法确定障碍物的最近边界：
[0039][0040]
式(6)为domd算法得到的障碍物边界数据，即障碍物的最近边界。
[0041]
d.计算避障绕行点的坐标和无人机避障飞行方向：
[0042][0043][0044]
式(7)中，u＝(xu，yu，zu)，为无人机当前的位置坐标。式(8)中，end＝(xe，ye，ze)为无人机飞行任务的目标点。
[0045]
e.一般地，要考虑u可能会连续遇到多个障碍物的情况，基于domd的航线规划算法(planing lane based on domd，pldomd)描述如下。
[0046][0047]
[有益效果]：本发明的有益效果是：1)无人机避障传感器的价格低廉，一个单目相机(约100元)和一个激光雷达(约1千多元)；2)利用传感器信息的无人机避障算法简单有效，算法能够运行在廉价的嵌入式系统上。
附图说明
[0048]
图1无人机避障系统硬件结构图；
[0049]
图2障碍物识别模型；
[0050]
图3图像特征点匹配；
[0051]
图4障碍物检测(domd)算法效果；
[0052]
图5真实试验无人机原型系统；
[0053]
图6真实试验过程组图；
具体实施方式
[0054]
以下结合附图和具体实施方法对本发明做进一步说明。
[0055]
1.障碍物检测算法对实际障碍物的效果
[0056]
试验测试了位于复杂环境内的树木障碍物。图3分别显示了随着无人机前进，无人机摄像头拍摄到的前后两帧图像，左边是第一帧，右边是第二帧，其中距离较近的障碍物其图像大小变化了近一倍，而较远的背景物体，则变化较少，这同样佐证了式(2)的结论。绿色连线是通过特征点提取和匹配后的结果。可以看到，存在不少错误的匹配点，并且，后方的大楼(在当前情况下并不构成无人机障碍物)也存在匹配特征点。图4显示了障碍物检测算法在对障碍物特征点的变化率进行计算和结合测距设备的距离信息后过滤出的属于无人机障碍物的特征点，经过聚类计算，白色边框即为障碍物的边界。
[0057]
2.真实场景避障试验
[0058]
我们基于四旋翼无人机(如大疆m100)设计了原型系统，图5显示了该避障原型系统，它由一个激光雷达、一个单目摄像头、一个嵌入式计算设备组成和一架无人机组成。无人机初始位于离地1.5米的低空，向北飞行15米。图6(a)显示了无人机的初始状态，在它的北面有一个障碍物(一棵树)。图6(b)中无人机向北飞行，并逐渐接近障碍物。图6(c)显示无人机采用domd算法识别障碍物并开始避开障碍物。图6(d)表示无人机采用pldomd算法计算的路径到达障碍物绕行点。图6(e)表示无人机完成避障，并重新向原目标点飞行。最后，图6(f)中无人机到达目标点并在空中悬停等待下一次飞行任务。
[0059]
以上对本发明作了详细的说明，但本发明并不限于上述实施方式中的具体细节，在本领域的技术人员可以根据自己所具备的知识，对本发明做各种变化以达到更优的效果。

技术特征：
1.一种基于单目视觉特征点的识别障碍物的模型，其特征在于：a.图2显示了随着无人机相对障碍物移动，障碍物在摄像头内的成像关系，其中点o表示原点，即无人机所处的位置，障碍物上的一点x，在焦距为f的摄像头成像平面上对应的点为x；b.随着时间变化，该模型内障碍物总是表现出向原点移动的特性(远离原点或者保持不变的物体，不会对无人机造成威胁，即不构成障碍物)，所以，如图2所示，在下一刻，障碍物上一点x向o位移了δz至x
′
，其在成像平面上对应点变为x
′
，因此，随着障碍物的位移，其在成像平面上的点x与x
′
的变化关系为：式(1)中z为障碍物与原点o的初始距离；c.与原点初始距离不同的点，其向原点位移相同的距离，在成像平面上，会表现出不同的变化：假设存在相对静止的点a＝(xa，ya，za)
t
和b＝(xb，yb，4za)
t
，b距离原点较a远，这两个点同时向原点沿z轴平移za/2，平移后得到的点为a
′
＝(xa，ya，za/2)
t
和b
′
＝(xb，yb，7za/2)
t
，据式(1)，可以得到点a和b在成像平面上的点距离成像平面中心的变化：式(2)中分别为点a和b和其位移后的点a
′
和b
′
在成像平面上的投影点到成像平面中心的距离，对此结果的一个直观的结论是，虽然随着点a和b以相同距离接近原点，它们在图像平面上的投影都在远离成像平面中心，但是距离原点更近的点的投影远离成像平面中心的速度更快。2.根据技术方案1所述的模型，一种障碍物检测方法(domd)，其特征在于：a.利用特征点提取算法orb和特征点匹配算法flann，能够关联两张以固定时间间隔拍摄的无人机前方单目视觉图像，图像的来源是无人机上便于携带的小型单目摄像头；b.通过将摄像头置于无人机机头朝向方向，能够获取到无人机飞行正方向的图像信息{frame1，frame2...frame
n
}，通过orb算法，能够提取到每一帧信息的特征点kp
i
＝orb(frame
i
)，通过flann算法，能够得到任意两帧图像之间匹配的特征点合集(索引集)id
ij
＝flann(kp
i
，kp
j
)；c.通过测距设备，能够测得无人机前方障碍物与无人机之间的距离，通过将测距设备置于无人机机头朝向方向，同时保证测距设备与摄像头处于同一垂线，能够获取到无人机飞行正方向可能存在的障碍物到无人机摄像头的距离信息d；d.确定特征点变化率α：其中id＝flann(kp1，kp2)式(3)中，(c
x
，c
y
)表示成像平面的图心，它的具体数值直接来源于摄像头的内参，通过式(3)，我们可以确定无人机前方所有特征点的运动变化关系，即特征点变化率α；
e.确定障碍物的特征点的变化率范围：式(4)中，v是无人机飞行的速度，t为两帧图像之间的拍摄间隔，选择α＞βk的特征点，将会过滤较远的背景信息，并且对于可能存在的特征点位置误差存在一定的容忍，而(2-β)k＞α则可以将匹配算法产生的一些错误匹配的点滤除，因为无人机匀速向前飞行时，障碍物的变化率不会过大，而常数β本身的取值被实验确定为0.8；f.障碍物上特征点的聚类和障碍物边界距离检测：式(5)为对于前方距离被检测为d的障碍物的特征点聚类结果，通过取u
obstacle
内的4个边界点，即可以得到障碍物的边界距离；g.基于单目视觉特征点和距离确定障碍物(domd)算法描述如下。3.根据技术方案1所述的模型，一种基于障碍物检测算法(domd)的避障子航线规划方法，其特征在于：a.通过domd算法得到的信息，可以根据dubins路径快速的得到一条让无人机绕过障碍物到达目的地的最短航线；b.当无人机前方存在复数障碍物时，通过domd算法能能够得到最近障碍物的边界与无人机的相对距离，通过不断的调用domd算法和子航线规划算法，能够达到回避复数障碍物的效果；
c.根据domd算法确定障碍物的最近边界：式(6)为domd算法得到的障碍物边界数据，即障碍物的最近边界；d.计算避障绕行点的坐标和无人机避障飞行方向：d.计算避障绕行点的坐标和无人机避障飞行方向：式(7)中，u＝(x
u
，y
u
，z
u
)，为无人机当前的位置坐标，式(8)中，end＝(x
e
，y
e
，z
e
)为无人机飞行任务的目标点；e.一般地，要考虑u可能会连续遇到多个障碍物的情况，基于domd的航线规划算法(planing lane based on domd，pldomd)描述如下。

技术总结
本发明提出了一种基于单目视觉和测距信息融合的无人机避障方法。在传感器重量、控制器计算能力和系统能耗都受限的小型无人机上，这种避障方法通过融合来自单目摄像头的单目视觉信息和来自测距雷达的测距信息，基于单目视觉特征点的识别障碍物的模型，实现了障碍物检测方法，能够控制无人机对障碍物的避障。本发明的优点在于使用廉价的传感器、计算处理开销低，能够为无人机提供经济、高效的避障解决方案。方案。


技术研发人员：陈鸣 毛一鸣 陈兵
受保护的技术使用者：南京航空航天大学
技术研发日：2020.09.08
技术公布日：2022/3/7