基于3D传感器的电梯空中按键实现方法及系统

基于3d传感器的电梯空中按键实现方法及系统
技术领域
1.本发明涉及3d非触控的技术领域，尤其涉及一种基于3d传感器的电梯空中按键实现方法及系统。


背景技术：

2.随着计算技术和传感器的发展，各种智能化开关正得到越来越多的重视和广泛应用，市场潜力不断扩大。传统的触摸开关一般分为:触摸按键/钮式和触摸屏式。这些开关简单可靠、使用广泛，属于传统型开关。但在某些场合下存在一些缺陷与不足，例如在疫病肆虐期间，需要人手避免接触任何公共物体表面，这时这些开关就会失去作用。非接触开关能弥补传统接触式开关的不足，提升和满足在某些特定情况和环境下的应用，应具备成本相对较低，市场和利润前景广阔等特征。目前已有的近距非触控开关主要是使用电容触控和红外线感应的方式。电容感应的方式受电容、接触物体的介电常数、及自身驱动力等因素的限制，能达到的悬浮距离一般不超过3cm,且不能作用于大尺寸的开关。红外线感应往往需要多台红外线传感器，作用于较窄小的捕捉范围，且不能分辨动作的具体细节等。因此，现有技术亟需进一步改进和发展。
3.在计算机视觉系统中，3d场景信息为目标检测、物体跟踪等各类计算机视觉应用提供了帮助，深度图像(depth map)是一种有效的三维场景信息表达方式。深度图像的每个像素点的灰度值可用于表征场景中某一点距离摄像机的远近。获取深度图像的方法较多，通常有:被动测距传感和主动深度传感。被动测距传感多通过两个相隔一定距离的相机获得两幅图像，立体匹配和三角原理计算视差得到。主动深度传感的方法主要包括tof(time of light)、结构光、激光扫描等。3d传感器(深度相机)通过检测出物体的景深距离，可以得到图像中每个点离摄像头距离。加上该点在2d图像中的(x，y)坐标，就能获取图像每个点的三维空间坐标(x，y，z)。目前3d传感器在电视、手机、机器人、物流等领域得到了应用，但在非接触式按键上却仍旧是空白。


技术实现要素：

4.针对背景技术中的不足，本发明提出了一种基于3d传感器的电梯空中按键实现方法及系统，具体方案如下：
5.一种基于3d传感器的电梯空中按键实现方法，包括以下步骤：
6.s1、确定3d传感器，根据按键盘范围和3d传感器的探测区域，将传感器安装在和按键组设定距离处的平面上；
7.s2、以3d传感器为原点，对按键组中的各按键位置进行测量，得到各按键对应的3d坐标ri(t)＝{xi(t)，yi(t)，zi(t)|i是按键的编号，1≤i≤n}和按键范围si(t)，其中z坐标为景深坐标；
8.s3、当凌空点按的突出物进入预设的空间测定域后，设定3d传感器的时间间隔，连续测量进入的手指和相邻手掌坐标，对每一个新进入空间测定域的突出物，建立单独坐标
队列的时间序列{x
pj
(t)，y
pj
(t)，z
pj
(t)|j是突出物的编号}，每个坐标值时间序列用独立的循环队列存储和处理；
9.s4、基于测量得到的坐标队列的时间序列，得到进入突出物的轮廓图；
10.s5、由突出物尖端的位置{xf，yf，zf}判别突出物是否已进入预设的空间测定域{z1＜z＜zu|z1是测定域下界z坐标，zu是测定域上界z坐标}和处于某个按键上方{x
il
＜x＜x
ir
，y
il
＜y＜y
ir
|i是第i号按键指标}；对进入预设的空间测定域和各按键上方突出物尖端，以设定时间间隔进行连续测量，得到突出物尖端3d坐标的时间序列{xf(t)，yf(t)，zf(t)|t＝t0，t1，t2，
…
}；对区域内每个候选有效点击突出物尖端进行测量，得到各自的坐标队列时间序列{x
fj
(t),y
fj
(t),z
fj
(t)|j是突出物尖端的指标}；
11.s6、根据突出物尖端的坐标时间序列，计算和判断，得出其为何种类型的动作，是否有效。
12.使用上述基于3d传感器的电梯空中按键实现方法的系统，包括按键组、3d传感器、嵌入式计算系统和辅助电路、控制信号和按键驱动电路；
13.所述按键组的信号端与嵌入式计算机系统和辅助电路实现信息交互，所述3d传感器用于检测手指坐标，所述3d传感器的信号端与嵌入式处理系统实现信息交互，所述3d传感器安装在按键组右上方的电梯壁上。
14.本发明的有益效果在于：本发明可有效解决非接触操作电梯按钮的问题，也可非接触应用于其它类似的开关。具有灵敏、准确、智能化、功能完善、造价相对低廉等特征。
附图说明
15.图1为本发明提出的一种基于3d传感器的电梯空中按键系统的结构示意图。
16.图2(a)为空中按键时手指位置的侧视图。
17.图2(b)为空中按键时手指位置的俯视图。
18.图3为空间坐标的循环队列图。
19.图中：
20.1、按键组；2、3d传感器；3、嵌入式计算系统；4、按键驱动电路。
具体实施方式
21.参照图1，本发明提出一种基于3d传感器2的电梯空中按键系统，包括按键组1、3d传感器2、嵌入式计算系统3和辅助电路、按键驱动电路4。
22.所述按键组1的信号端与嵌入式计算机系统和辅助电路实现信息交互，所述3d传感器2用于检测手指坐标，所述3d传感器2的信号端与嵌入式处理系统实现信息交互。所述3d传感器2安装在按键组1右上方的电梯壁上。所述嵌入式计算系统3和辅助电路基于3d传感器2的电梯空中按键实现方法探测和判别按键动作，并发出对应的控制信号到按键驱动电路4。
23.基于3d传感器2的电梯空中按键实现方法的具体步骤如下：
24.s1、根据使用环境、按键尺寸、按键形状、按键和手指表面光学特性、按键盘位置和手指运动范围等参数，选择对应的3d传感器2；根据3d传感器2的按键盘范围和探测区域，将传感器安装在和按键组1设定距离处的平面上，以保证3d传感器2的探头的视野得到完整的
人指运动图像。
25.在该实施例中，使用加拿大lmi公司gocator系列的3d传感器2，可以保证在按键盘范围(x，y平面)10cm
×
20cm的上方探测区域2cm-30cm内得到物体运动坐标值信息。
26.s2、以3d传感器2为原点，对按键组1中的各按键位置进行测量，得到各按键对应的3d坐标ri(t)＝{xi(t)，yi(t)，zi(t)|i是按键的编号，1≤i≤n}和按键范围si(t)，其中z坐标为景深坐标；当按键为长方形时，长方形的按键范围si(t)由其四个角的坐标确定，当按键为圆形时，圆形的按键范围si(t)由其圆心坐标和半径确定。图2中侧视图显示y坐标，俯视图显示x，z坐标值。
27.s3、当凌空点按的手指(突出物)进入预设的空间测定域后，设定3d传感器2的时间间隔，连续测量进入的手指和相邻手掌坐标；对每一个新进入有效的空间测定域的物体，建立单独坐标队列的时间序列{x
oj
(t)，y
oj
(t)，z
oj
(t)|j是突出物的编号}。预设的空间测定域为2cm＜zf＜30cm，zf是指手指尖的z坐标，x
l
＜xf＜xr，y
l
＜yf＜yr，x
l
、y
l
是指键盘组的左边界x、y的坐标，xr、yr是指键盘组的右边界x、y的坐标，xf、yf是指手指尖的x、y坐标。在该实施例中，3d传感器2的时间间隔设定为0.02秒。为清晰起见，以下只叙述对单个按键物体的测量与判别方法，同方法可适用于同时进入按键区的多个物体。
28.s5、基于测量得到的坐标队列的时间序列，得到进入突出物如手指、手掌的轮廓图。依照突出物(如手指)的宽度、厚度和伸出长度，计算和识别突出物尖端如手指、指尖，得到突出物尖端的位置{xf，yf，zf}，设定识别手指的宽度≤1.5cm、厚度≤1.5cm、伸出长度≤8cm。
29.由突出物尖端的位置{xf，yf，zf}判别突出物是否已进入预设的空间测定域{z1＜z＜zu|z1是测定域下界z坐标，zu是测定域上界z坐标}和处于某个按键上方{x
il
＜x＜x
ir
，y
il
＜y＜y
ir
|i是第i号按键指标}，对进入预设的空间测定域和各按键上方突出物(即所谓的候选有效点击突出物)尖端，以0.02秒间隔进行连续测量，得到指尖位置3d坐标的时间序列{xf(t)，yf(t)，zf(t)|t＝t0，t1，t2，
…
}。同理如果有多个突出物(手指)进入测量区，对候选有效点击突出物尖端(手指指尖)进行测量，得到各自的坐标队列时间序列(x
oj
(t)，y
oj
(t)，z
oj
(t)|j是指尖/伸出物尖端的指标)。每个坐标值时间序列用循环队列存储和处理，如图3所示。以手指的z坐标zf为例：在第一个时隙δt1后，测量得到zf1，并加入循环队列中，以后每个时隙δtj，加入对应的坐标值zfj。使用头指针和尾指针分别指向待测的时隙(即对应的zfi，zfj值)，如此可不断加入和更新坐标值，并得到不同时间间隔下的坐标差δtf(尾指针-头指针)和移动速率(δzf/δt)；
30.s6、根据上述测量得到的突出物尖端的坐标时间序列，使用下述算法经计算和判别后得出其为何种类型的动作，是否有效，具体判别标准如下：
31.(1)、快速点击：突出物尖端的z坐标时间序列在一定时间范围内δtf(如＜0.2秒)先从大变小且变化范围≥lf(如4cm)或变化率绝对值＞sf(如40cm/s)，到达最低点后再由小变大且变化范围≥l
rf
(如2cm)；
32.(2)长按点击：突出物尖端的z坐标时间序列在一定时间范围内(如《0.1秒)先从大变小且变化范围≥l
l
(如4cm)，然后在一定时间内δt
l
(如2秒)基本保持不变，即z
upper-z
lower
≤l
t
(如1cm),这里z
upper
是在该时间区间内z的最大值，z
lower
是最小值；
33.(3)非突出物尖端(如胳膊等其它身体部位,衣服等其它类型的物体)作用的无效
移动(点击)；
34.(4)无效手指按键动作：
35.(a)非突出物尖端在x-y平面运动，其z值变化范围δz《l
lt
(如2cm)；
36.(b)设定时间段，在x-y平面内运动范围大于设定距离，即δx》lb,δy》lb，lb＝2
×dk
,dk是按键宽度/直径(如在0.1秒的时间内,x,y值变化大于两个按键宽度)；
37.(c)设定时间段，在x-y平面内运动速度v大于上界设定值(v
ut
),即v》v
ut
；(如在0.1秒的时间内,v值》30cm/s)；
38.(d)突出物尖端的z值大于设定值没进入预设的空间测定域(z》zu)或小于另一设定值(z《z
l
)，表示手指离键盘过远或过近；
39.(e)突出物尖端在z方向运动速度vz小于下界设定值v
lt
,即v《v
lt
，表示突出物尖端在z方向过缓(如0.1秒的时间内只运动了1cm)。
40.处理多突出物尖端同时按键情况：
41.控制软件按上述标准同时测量和记录多个进入有效测量区域的手指,建立各手指的3d坐标时间序列和对应的循环队列。对符合有效按键动作的手指记录它们各自的按键值，忽略无效动作的手指。
42.处理遮挡和异物的情况：
43.测量和记录任何有效按键测量范围内的物体：
44.(1)如果不符合手指的判断标准，则记为异物；
45.(2)如果异物在按键的(xe,ye)坐标上方，且ze坐标值低于手指的zf值，则该手指被遮挡，其按键动作无效；
46.(3)完全遮挡：在开始处理某手指按键动作时被完全遮挡，而且时间超过ts(如3秒)秒，这该手指动作测量被重置；
47.(4)中途短时间完全遮挡：在处理某有效手指按键动作时中途由于被遮挡而丢失部分测量数据，在一定的测量时间范围内ti(如1.5秒)继续保持该手指已有数据序列，并在遮挡消失后继续测量和判断该手指动作(标准如前述)；
48.(5)中途被部分遮挡：在处理某手指按键动作时中途被部分遮挡,允许部分手指的运动测量数据有效,并继续测量和判断该手指动作(标准如前述)。
49.(6)循环队列可处理遮挡情况，它允许某些时隙的δtj对应的zfj值无效，但在一个更大的测量范围内得到有效的坐标差δzf或变化速率(δzf/δt)；
50.s7、根据按键动作结果，对驱动键盘的电路发出对应开、关、或不动作的电信号，或对附加的模拟按键机械装置发出驱动开关量等来完成按键的所有动作。
51.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种基于3d传感器的电梯空中按键实现方法，其特征在于，包括以下步骤：s1、确定3d传感器，根据按键盘范围和3d传感器的探测区域，将传感器安装在和按键组设定距离处的平面上；s2、以3d传感器为原点，对按键组中的各按键位置进行测量，得到各按键对应的3d坐标r
i
(t)＝{x
i
(t)，y
i
(t)，z
i
(t)|i是按键的编号，1≤i≤n}和按键范围s
i
(t)，其中z坐标为景深坐标；s3、当凌空点按的突出物进入预设的空间测定域后，设定3d传感器的时间间隔，连续测量进入的手指和相邻手掌坐标,对每一个新进入空间测定域的突出物,建立单独坐标队列的时间序列{x
pj
(t),y
pj
(t),z
pj
(t)|j是突出物的编号}，每个坐标值时间序列用独立的循环队列存储和处理；s4、基于测量得到的坐标队列的时间序列，得到进入突出物的轮廓图；s5、由突出物尖端的位置{x
f
，y
f
，z
f
}判别突出物是否已进入预设的空间测定域{z
l
<z<z
u
|z
l
是测定域下界z坐标，z
u
是测定域上界z坐标}和处于某个按键上方{x
il
<x<x
ir
，y
il
<y<y
ir
|i是第i号按键指标}；对进入预设的空间测定域和各按键上方突出物尖端，以设定时间间隔进行连续测量，得到突出物尖端3d坐标的时间序列{x
f
(t)，y
f
(t)，z
f
(t)|t＝t0,t1,t2,
…
}；对区域内每个候选有效点击突出物尖端进行测量，得到各自的坐标队列时间序列{x
fj
(t),y
fj
(t),z
fj
(t)|j是突出物尖端的指标}；s6、根据突出物尖端的坐标时间序列，计算和判断，得出其为何种类型的动作，是否有效。2.根据权利要求1所述的基于3d传感器的电梯空中按键实现方法，其特征在于，步骤s6中判断是否有效的标准为：(1)快速点击：突出物尖端的z坐标时间序列在一定时间范围δt
f
内先从大变小且变化范围≥l
f
或变化率绝对值>s
f
，到达最低点后再由小变大且变化范围≥l
rf
；(2)长按点击：突出物尖端的z坐标时间序列在一定时间范围δt
f
内先从大变小且变化范围≥l
l
，然后在一定时间内δt
l
基本保持不变，即z
upper-z
lower
≤l
t
,z
upper
是在该时间区间内z的最大值，z
lower
是最小值；(3)非突出物尖端：限定的突出物以外的物体作用的无效移动；(4)无效按键动作判断标准包括：(a)突出物尖端/非突出物尖端在x-y平面运动，其z值变化范围δz<l
lt
；(b)设定时间段，在x-y平面内运动范围大于设定距离，即δx>l
b
,δy>l
b
l
b
＝2
×
d
k
,d
k
是按键宽度/直径；(c)设定时间段，在x-y平面内运动速度v大于上界设定值v
ut
,即v>v
ut
；(d)突出物尖端的z值大于设定值z
u
没进入预设的空间测定域或小于另一设定值z
l
离按键过近；(e)突出物尖端在z方向运动速度v
z
小于下界设定值v
lt
,即v<v
lt
。3.根据权利要求1所述的基于3d传感器的电梯空中按键实现方法，其特征在于，处理多个突出物尖端同时按键的方法为：按照步骤s3同时测量和记录多个进入有效测量区域的突出物尖端,建立各突出物尖端的3d坐标时间序列和对应的循环队列；对符合有效按键动作的手指记录它们各自的按键
值，忽略无效按键动作的突出物尖端。4.根据权利要求3所述的基于3d传感器的电梯空中按键实现方法，其特征在于，处理遮挡和异物的情况包括测量和记录任何有效按键测量范围内的物体：(1)如果不符合突出物尖端的判断标准，则记为异物；(2)如果异物在按键的(x
e
,y
e
)坐标上方，且z
e
坐标值低于手指的z
f
值，则该手指被遮挡，其按键动作无效；(3)完全遮挡：在开始处理某突出物尖端按键动作时被完全遮挡，而且时间超过t
s
，这该突出物尖端动作测量被重置；(4)中途短时间完全遮挡：在处理有效突出物尖端按键动作时中途由于被遮挡而丢失部分测量数据，在一定的测量时间范围t
i
内继续保持该手指已有数据序列，并在遮挡消失后继续测量和判断该突出物尖端动作；(5)中途被部分遮挡：在处理手指按键动作时中途被部分遮挡,允许部分突出物尖端的运动测量数据有效,并继续测量和判断该突出物尖端动作；(6)循环队列处理遮挡情况：当某些时隙的δt
j
对应的z
fj
值无效，但在一个设定的测量范围内可得到有效的坐标差δz
f
或变化速率δz
f
/δt。5.根据权利要求3所述的基于3d传感器的电梯空中按键实现方法，其特征在于，还包括以下步骤：s7、根据按键动作结果，对驱动键盘的电路发出对应开、关、或不动作的电信号，或对附加的模拟按键机械装置发出驱动开关量来完成按键的所有动作。6.使用权利要求1-5任意一项基于3d传感器的电梯空中按键实现方法的系统，其特征在于，包括按键组、3d传感器、嵌入式计算系统和辅助电路、控制信号和按键驱动电路；所述按键组的信号端与嵌入式计算机系统和辅助电路实现信息交互，所述3d传感器用于检测手指坐标，所述3d传感器的信号端与嵌入式处理系统实现信息交互，所述3d传感器安装在按键组右上方的电梯壁上。7.根据权利要求6所述的系统，其特征在于，所述3d传感器为加拿大lmi公司gocator系列。

技术总结
一种基于3D传感器的电梯空中按键实现方法及系统，方法包括以下步骤：S1、根据按键盘范围和3D传感器探测区域,确定3D传感器和安装位置；S2、得到各按键对应的3D坐标和按键范围坐标；S3、对每一个新进入有效的空间测定域的突出物,建立单独坐标队列的时间序列，每个坐标值时间序列用循环队列存储和处理；S4、基于测量得到的坐标队列的时间序列，得到进入突出物物体的轮廓图；S5、判别突出物是否已进入预设的空间测定域和处于某个按键上方，得到突出物尖端3D坐标的时间序列；S6、根据突出物尖端的坐标时间序列，经软件计算后，得出其为何种类型的动作，是否有效。本发明可有效解决非接触操作电梯按钮的问题，也可非接触应用于其它类似的开关。似的开关。似的开关。


技术研发人员：吴建国 楼建宇 万家华 刘一鸣 刘梦雪 王波 李国兴
受保护的技术使用者：安徽新华学院
技术研发日：2021.11.12
技术公布日：2022/3/8