一种基于OPENCV相关算法的体感深度图获取系统的制作方法

一种基于opencv相关算法的体感深度图获取系统
技术领域
1.本发明涉及opedcv技术领域，具体涉及一种基于opencv相关算法的体感深度图获取系统。


背景技术：

2.opencv是一个基于bsd许可(开源)发行的跨平台计算机视觉和机器学习软件库，可以运行在linux、windows、android和macos 操作系统上。它轻量级而且高效－－由一系列c函数和少量c++类构成，同时提供了python、ruby、matlab等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。
3.现有的体感深度图获取系统大都依赖于rgb图像，而rgb图像的质量易受强光、剧烈的光照强度变化、多物体重叠遮挡与数据传输损失等因素的影响，这也就导致算法或者模型受到局限，适应性低，最重要的是人物运动比较复杂，导致有些方法因为过于简单而识别精度达不到要求。


技术实现要素：

4.针对现有技术所存在的上述缺点，本发明在于提供一种基于 opencv相关算法的体感深度图获取系统，本发明，首先使用体感设备接口获取深度数据并发送至图像优化单元，使用图像优化单元对图像数据进行深度裁剪，之后对深度裁剪层像素深度进行线性映射，获取linedepth参数，调整linedepth参数过滤边缘噪点，噪点去除之后将图像数据发送至形状识别单元，形状识别单元将图像信息进行二值化—查找轮廓—多边形拟合，得到各个轮廓的顶点数量，并根据得到的定点数量对不同轮廓进行数据形状识别，去除多余轮廓，之后将信息发送至显示器进行展示，整体使用上，通过对深度数据进行裁剪改变，避免了受强光、剧烈的光照强度变化、多物体重叠遮挡与数据传输损失等因素的影响，进而提高了算法和模型的适用性。
5.为实现上述目的，本发明提供了如下技术方案：
6.一种基于opencv相关算法的体感深度图获取系统，包括：
7.体感设备，所述体感设备用于获取深度数据；
8.图像优化单元，所述图像优化单元用于接收体感设备发送的数据信息并获取体感深度图；
9.形状识别单元，所述形状识别单元用于接收图像优化单元，并从体感深度图中的数据获取图像轮廓信息；
10.色彩填充单元，所述色彩填充单元用于接收形状识别单元发送的信息并为图像轮廓信息填充色彩；
11.显示器，所述显示器用于接收形状识别单元和色彩填充单元发送的图像信息并进行显示。
12.本发明进一步设置为：所述体感设备与图像优化单元电性连接，所述图像优化单
元与形状识别单元电性连接，所述形状识别单元与色彩填充单元电性连接，所述形状识别单元和色彩填充单元均与显示器电性连接。
13.本发明进一步设置为：所述图像优化单元包括深度识别模块和深度信息存储模块，其中：
14.所述深度识别模块用于获取图像的深度区间，所述深度识别模块与体感设备电性连接；
15.所述深度信息存储模块用于接收深度识别模块发送的信息并存储，所述深度信息存储模块与深度识别模块电性连接。
16.本发明进一步设置为：所述图像优化单元还包括线性映射模块和噪点过滤模块，其中：
17.所述线性映射模块用于获取多个空间平面的线性深度；
18.所述噪点过滤模块用于过滤线性映射模块之外的多余线性粒子。
19.本发明进一步设置为：所述形状识别单元包括像素转化模块、数据存储模块和数据查找模块，其中：
20.所述像素转化模块用于接收图像优化单元发送的图像信息，并将图像原图转化为像素数据进行灰度值转化，所述像素转化模块与图像优化单元电性连接；
21.所述数据存储模块用于接收数据存储模块的产生的灰度值数据信息，所述数据存储模块与像素转化模块电性连接；
22.所述数据查找模块用于获取连通区域的轮廓像素数据信息，所述数据查找模块与数据存储模块电性连接。
23.本发明进一步设置为：所述形状识别单元还包括拟合模块、轮廓信息存储模块和轮廓过滤模块，其中：
24.所述拟合模块用于获得轮廓凸点信息并将轮廓信息，并计算出图像轮廓形状，所述拟合模块还用于将凸点信息与图像轮廓信息发送至轮廓信息存储模块；
25.所述轮廓信息存储模块用于接收拟合模块发送的数据信息并进行存储，所述轮廓信息存储模块与拟合模块电性连接；
26.所述轮廓过滤模块用于计算轮廓信息存储模块中存储的轮廓面积，并过滤出较大轮廓和较小轮廓。
27.本发明进一步设置为：所述色彩填充单元包括色彩信息存储模块、中心点计算模块和像素色彩转换模块，其中：
28.所述色彩信息存储模块用于存储进行色彩改变后的图像信息，所述色彩信息存储模块与形状识别单元电性连接；
29.所述中心点计算模块用于计算轮廓最小外接圆的中心点数据并发送至像素色彩转换模块；
30.所述像素色彩转换模块用于接收中心点计算模块发送的数据信息并进行色彩转换。
31.本发明进一步设置为：所述色彩填充单元还包括图像色彩转换模块和区分模块，其中：
32.所述图像色彩转换模块用于改变图像轮廓的整体像素色彩；
33.所述区分模块用于改变轮廓图像的色调，便于区分多个图像轮廓。
34.有益效果
35.采用本发明提供的技术方案，与已知的公有技术相比，具有如下有益效果：
36.本发明，首先使用体感设备接口拿到尺寸为512x424的深度数据并发送至图像优化单元，之后使用图像优化单元对图像数据进行深度裁剪获取图像中的积木轮廓，用于调整深度裁剪范围，之后对深度裁剪层像素深度进行线性映射，获取linedepth参数，调整linedepth 参数过滤边缘噪点，噪点去除之后将图像数据发送至形状识别单元，形状识别单元将图像信息进行二值化—查找轮廓—多边形拟合，得到各个轮廓的顶点数量，并根据得到的定点数量对不同轮廓进行数据形状识别，并对轮廓进行面积计算，去除多余轮廓，提高图像使用效果，之后将信息发送至显示器进行展示，整体使用上，通过对深度数据进行裁剪改变，避免了受强光、剧烈的光照强度变化、多物体重叠遮挡与数据传输损失等因素的影响，进而提高了算法和模型的适用性。
附图说明
37.图1为一种基于opencv相关算法的体感深度图获取系统的系统图；
38.图2为一种基于opencv相关算法的体感深度图获取系统中图像优化单元内部的系统图；
39.图3为一种基于opencv相关算法的体感深度图获取系统中形状识别单元内部的系统图；
40.图4为一种基于opencv相关算法的体感深度图获取系统中色彩填充单元内部的系统图。
41.图中：1、体感设备；2、图像优化单元；201、深度识别模块； 202、深度信息存储模块；203、线性映射模块；204、噪点过滤模块； 3、形状识别单元；301、像素转化模块；302、数据存储模块；303、数据查找模块；304、拟合模块；305、轮廓信息存储模块；306、轮廓过滤模块；4、色彩填充单元；401、色彩信息存储模块；402、中心点计算模块；403、像素色彩转换模块；404、图像色彩转换模块； 405、区分模块；5、显示器。
具体实施方式
42.为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.下面结合实施例对本发明作进一步的描述。
44.实施例1
45.请参照图1-4所示，一种基于opencv相关算法的体感深度图获取系统，包括：
46.体感设备1，体感设备1用于获取深度数据；
47.图像优化单元2，图像优化单元2用于接收体感设备1发送的数据信息并获取体感深度图；
48.形状识别单元3，形状识别单元3用于接收图像优化单元2，并从体感深度图中的数
据获取图像轮廓信息；
49.色彩填充单元4，色彩填充单元4用于接收形状识别单元3发送的信息并为图像轮廓信息填充色彩；
50.显示器5，显示器5用于接收形状识别单元3和色彩填充单元4 发送的图像信息并进行显示；
51.体感设备1与图像优化单元2电性连接，图像优化单元2与形状识别单元3电性连接，形状识别单元3与色彩填充单元4电性连接，形状识别单元3和色彩填充单元4均与显示器5电性连接。
52.本发明在使用时，首先使用体感设备1接口拿到尺寸为512x424 的深度数据(通过体感原生接口，可以直接获取数据)并发送至图像优化单元2，之后使用图像优化单元2对图像数据进行深度裁剪获取图像中的积木轮廓，mindepth，maxdepth两个参数用于调整深度裁剪范围，之后对深度裁剪层像素深度进行线性映射，获取linedepth 参数，调整linedepth参数过滤边缘噪点，噪点去除之后将图像数据发送至形状识别单元3，形状识别单元3将图像信息进行二值化—查找轮廓—多边形拟合，得到各个轮廓的顶点数量，并根据得到的定点数量对不同轮廓进行数据形状识别，并对轮廓进行面积计算，去除多余轮廓，提高图像使用效果，之后将信息发送至色彩填充单元4，同时发送至显示器5进行展示，在信息到达色彩填充单元4时，色彩填充单元4对各个轮廓进行中心点计算，并将中心点进行色彩转换，之后以中心点为中心对轮廓进行色彩转换，最后对轮廓图进行色调调节，调节完成后发送至显示器5进行展示，整体使用上，通过对深度数据进行裁剪改变，避免了受强光、剧烈的光照强度变化、多物体重叠遮挡与数据传输损失等因素的影响，进而提高了算法和模型的适用性。
53.图像优化单元2包括深度识别模块201和深度信息存储模块202，其中：
54.深度识别模块201用于获取图像的深度区间，深度识别模块201 与体感设备1电性连接；
55.深度信息存储模块202用于接收深度识别模块201发送的信息并存储，深度信息存储模块202与深度识别模块201电性连接。
56.图像优化单元2还包括线性映射模块203和噪点过滤模块204，其中：
57.线性映射模块203用于获取多个空间平面的线性深度；
58.噪点过滤模块204用于过滤线性映射模块203之外的多余线性粒子。
59.本发明，在深度数据图到达图像优化单元2时，使用深度识别模块201，获取的单个数据深度值范围在[0-5000]，值越大则代表距离相机越远，深度范围规则：图示积木块的深度值，一定在某个区间范围内，比如[3500-3600]，这个范围需要根据实际积木块与体感设备的距离进行动态调整，因此这里留出两个参数[mindepth，maxdepth]，仅保留数据值在范围[mindepth，maxdepth]内的像素值，数据识别后，将保留得像素值发送值深度信息存储模块202进行存储，之后使用线性映射模块203将多个平行平面中具有的相同像素信息的线性粒子组合成线性矩阵并进行发送至深度信息存储模块202进行存储，最后使用噪点过滤模块204根据图形边缘获取线深度信息，并根据线深度闭合信息过滤出轮廓外意外的线性离子，从而提高多平面的轮廓显示，减少透视的干扰，整体使用上，通过对图像中不同平面的像素离子数据进行过滤，从而使得过滤后产生的图像信息轮廓更加清晰。
[0060]
形状识别单元3包括像素转化模块301、数据存储模块302和数据查找模块303，其中：
[0061]
像素转化模块301用于接收图像优化单元2发送的图像信息，并将图像原图转化为像素数据进行灰度值转化，像素转化模块301与图像优化单元2电性连接；
[0062]
数据存储模块302用于接收数据存储模块302的产生的灰度值数据信息，数据存储模块302与像素转化模块301电性连接；
[0063]
数据查找模块303用于获取连通区域的轮廓像素数据信息，数据查找模块303与数据存储模块302电性连接。
[0064]
形状识别单元3还包括拟合模块304、轮廓信息存储模块305和轮廓过滤模块306，其中：
[0065]
拟合模块304用于获得轮廓凸点信息并将轮廓信息，并计算出图像轮廓形状，拟合模块304还用于将凸点信息与图像轮廓信息发送至轮廓信息存储模块305；
[0066]
轮廓信息存储模块305用于接收拟合模块304发送的数据信息并进行存储，轮廓信息存储模块305与拟合模块304电性连接；
[0067]
轮廓过滤模块306用于计算轮廓信息存储模块305中存储的轮廓面积，并过滤出较大轮廓和较小轮廓。
[0068]
本发明中，在图像优化单元2发送信息至形状识别单元3时了，首先使用像素转化模块301将像素信息进行转换，赋予灰度值并将转换完成的图像信息发送至数据存储模块302进行存储，之后通过数据查找模块303使用findcontours统计图像轮廓，逐行遍历数据存储模块302中的像素数据信息，获得连通区域轮廓点，得出模型轮廓，并将数据存储模块302中的数据进行更新替换，通过拟合模块304使用approxpolydp获得轮廓凸点，对凸点数据进行收集，并使用 minarearect计算轮廓最小包围矩形，计算宽高比得出矩形是否为正方形(高宽比大于1.25为矩形)(凸点数量大于5个为原型)，根据凸点图像形状拟合时不经过多余像素，并将信息发送至轮廓信息存储模块305，最后通过轮廓过滤模块306使用contourarea函数计算轮廓信息存储模块305中不同轮廓面积，过滤出轮廓面积过大或过小轮廓信息，整体使用上，通过对图像的信息进行不同轮廓数据进行计算过滤，从而提高图像信息的准确度。
[0069]
色彩填充单元4包括色彩信息存储模块401、中心点计算模块402 和像素色彩转换模块403，其中：
[0070]
色彩信息存储模块401用于存储进行色彩改变后的图像信息，色彩信息存储模块401与形状识别单元3电性连接；
[0071]
中心点计算模块402用于计算轮廓最小外接圆的中心点数据并发送至像素色彩转换模块403；
[0072]
像素色彩转换模块403用于接收中心点计算模块402发送的数据信息并进行色彩转换。
[0073]
色彩填充单元4还包括图像色彩转换模块404和区分模块405，其中：
[0074]
图像色彩转换模块404用于改变图像轮廓的整体像素色彩；
[0075]
区分模块405用于改变轮廓图像的色带，便于区分多个图像轮廓。
[0076]
本发明在形状识别单元3发送信息至色彩填充单元4时，首先通过色彩信息存储模
块401进行存储，之后通过中心点计算模块402使用minenclosingcircle计算轮廓最小外接圆的中心点并将信息存储至色彩信息存储模块401中，通过像素色彩转换模块403使用体感接口mapdepthpointtocolorcoords将中心点坐标转换为彩色图坐标 (深度图像转换为色彩图像)，并存储至色彩信息存储模块401，再通过图像色彩转换模块404使用cvtcolor将体感彩色图由rgb空间转为h(色调)s(饱和)v(明度)空间并对色彩信息存储模块401 中的存储信息进行覆盖，最后通过区分模块405使用mean函数计算以该轮廓中心点为中心的3x3大小的核的平均像素hue值，根据hue (色调)值进行颜色的区分，进而对积木进行区分，整体使用上，使用人员可以选择根据使用环境决定是否执行色彩填充单元4进行色彩填充工作，应对各种真实环境的需求。
[0077]
本发明在工作时，首先使用体感设备1接口拿到尺寸为512x424 的深度数据(通过体感原生接口，可以直接获取数据)并发送至图像优化单元2，之后使用深度识别模块201，获取的单个数据深度值范围在[0-5000]，同时仅保留数据值在范围[mindepth，maxdepth]内的像素值，并将保留得像素值发送值深度信息存储模块202进行存储，之后使用线性映射模块203将多个平行平面中具有的相同像素信息的线性粒子组合成线性矩阵并进行发送至深度信息存储模块202进行存储，最后使用噪点过滤模块204根据图形边缘获取线深度信息，并根据线深度闭合信息过滤出轮廓外意外的线性离子，从而提高多平面的轮廓显示，减少透视的干扰，图像优化单元2工作完成后，噪点过滤模块204会将信息发送至形状识别单元3，使用像素转化模块301 将像素信息进行转换，赋予灰度值并将转换完成的图像信息发送至数据存储模块302进行存储，之后通过数据查找模块303使用 findcontours统计图像轮廓，再通过拟合模块304使用approxpolydp 获得轮廓凸点，对凸点数据进行收集，并使用minarearect计算轮廓最，根据凸点图像形状拟合时不经过多余像素，并将信息发送至轮廓信息存储模块305，最后通过轮廓过滤模块306使用contourarea函数计算轮廓信息存储模块305中不同轮廓面积，过滤出轮廓面积过大或过小轮廓信息，过滤完成后，使用轮廓过滤模块306将信息发送至显示器5，通过显示器5记性展示，当需要使用色彩填充单元4时，将信息发送至形状识别单元3发送信息至色彩填充单元4，通过色彩信息存储模块401进行存储，之后通过中心点计算模块402使用 minenclosingcircle计算轮廓最小外接圆的中心点并将信息存储至色彩信息存储模块401中，通过像素色彩转换模块403使用体感接口 mapdepthpointtocolorcoords将中心点坐标转换为彩色图坐标，并存储至色彩信息存储模块401，再通过图像色彩转换模块404使用 cvtcolor将体感彩色图由rgb空间转为hsv空间并对色彩信息存储模块401中的存储信息进行覆盖，最后通过区分模块405使用mean 函数根据hue(色调)值进行颜色的区分，进而对积木进行区分。
[0078]
本发明的各部分可以用硬件、软件、固件或他们的组合来实现，在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现，例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0079]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施
例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种基于opencv相关算法的体感深度图获取系统，其特征在于，包括：体感设备（1），所述体感设备（1）用于获取深度数据；图像优化单元（2），所述图像优化单元（2）用于接收体感设备（1）发送的数据信息并获取体感深度图；形状识别单元（3），所述形状识别单元（3）用于接收图像优化单元（2），并从体感深度图中的数据获取图像轮廓信息；色彩填充单元（4），所述色彩填充单元（4）用于接收形状识别单元（3）发送的信息并为图像轮廓信息填充色彩；显示器（5），所述显示器（5）用于接收形状识别单元（3）和色彩填充单元（4）发送的图像信息并进行显示。2.根据权利要求1所述的一种基于opencv相关算法的体感深度图获取系统，其特征在于，所述体感设备（1）与图像优化单元（2）电性连接，所述图像优化单元（2）与形状识别单元（3）电性连接，所述形状识别单元（3）与色彩填充单元（4）电性连接，所述形状识别单元（3）和色彩填充单元（4）均与显示器（5）电性连接。3.根据权利要求1所述的一种基于opencv相关算法的体感深度图获取系统，其特征在于，所述图像优化单元（2）包括深度识别模块（201）和深度信息存储模块（202），其中：所述深度识别模块（201）用于获取图像的深度区间，所述深度识别模块（201）与体感设备（1）电性连接；所述深度信息存储模块（202）用于接收深度识别模块（201）发送的信息并存储，所述深度信息存储模块（202）与深度识别模块（201）电性连接。4.根据权利要求3所述的一种基于opencv相关算法的体感深度图获取系统，其特征在于，所述图像优化单元（2）还包括线性映射模块（203）和噪点过滤模块（204），其中：所述线性映射模块（203）用于获取多个空间平面的线性深度；所述噪点过滤模块（204）用于过滤线性映射模块（203）之外的多余线性粒子。5.根据权利要求1所述的一种基于opencv相关算法的体感深度图获取系统，其特征在于，所述形状识别单元（3）包括像素转化模块（301）、数据存储模块（302）和数据查找模块（303），其中：所述像素转化模块（301）用于接收图像优化单元（2）发送的图像信息，并将图像原图转化为像素数据进行灰度值转化，所述像素转化模块（301）与图像优化单元（2）电性连接；所述数据存储模块（302）用于接收数据存储模块（302）的产生的灰度值数据信息，所述数据存储模块（302）与像素转化模块（301）电性连接；所述数据查找模块（303）用于获取连通区域的轮廓像素数据信息，所述数据查找模块（303）与数据存储模块（302）电性连接。6.根据权利要求5所述的一种基于opencv相关算法的体感深度图获取系统，其特征在于，所述形状识别单元（3）还包括拟合模块（304）、轮廓信息存储模块（305）和轮廓过滤模块（306），其中：所述拟合模块（304）用于获得轮廓凸点信息并将轮廓信息，并计算出图像轮廓形状，所述拟合模块（304）还用于将凸点信息与图像轮廓信息发送至轮廓信息存储模块（305）；所述轮廓信息存储模块（305）用于接收拟合模块（304）发送的数据信息并进行存储，所
述轮廓信息存储模块（305）与拟合模块（304）电性连接；所述轮廓过滤模块（306）用于计算轮廓信息存储模块（305）中存储的轮廓面积，并过滤出较大轮廓和较小轮廓。7.根据权利要求1所述的一种基于opencv相关算法的体感深度图获取系统，其特征在于，所述色彩填充单元（4）包括色彩信息存储模块（401）、中心点计算模块（402）和像素色彩转换模块（403），其中：所述色彩信息存储模块（401）用于存储进行色彩改变后的图像信息，所述色彩信息存储模块（401）与形状识别单元（3）电性连接；所述中心点计算模块（402）用于计算轮廓最小外接圆的中心点数据并发送至像素色彩转换模块（403）；所述像素色彩转换模块（403）用于接收中心点计算模块（402）发送的数据信息并进行色彩转换。8.根据权利要求7所述的一种基于opencv相关算法的体感深度图获取系统，其特征在于，所述色彩填充单元（4）还包括图像色彩转换模块（404）和区分模块（405），其中：所述图像色彩转换模块（404）用于改变图像轮廓的整体像素色彩；所述区分模块（405）用于改变轮廓图像的色调，便于区分多个图像轮廓。

技术总结
本发明涉及OPEDCV技术领域，具体涉及一种基于OPENCV相关算法的体感深度图获取系统；包括体感设备、图像优化单元、形状识别单元、色彩填充单元、显示器；本发明，首先使用体感设备接口获取图像深度数据并发送至图像优化单元，之后使用图像优化单元对图像数据进行深度裁剪获取图像中的积木轮廓，并将图像轮廓数据发送至形状识别单元，形状识别单元将图像信息进行二值化—查找轮廓—多边形拟合，得到各个轮廓的顶点数量，并对轮廓进行面积计算，去除多余轮廓，最后将信息发送至显示器进行展示，整体使用上，通过对深度数据进行裁剪改变，避免了受强光、剧烈的光照强度变化、多物体重叠遮挡与数据传输损失等因素的影响，进而提高了算法和模型的适用性。和模型的适用性。和模型的适用性。


技术研发人员：李颖 杨天威 邹颂扬 鲍海波 王正前 王家伟
受保护的技术使用者：合肥安达创展科技股份有限公司
技术研发日：2021.11.29
技术公布日：2022/3/8