1.本技术发明涉及智能头戴技术领域,特别涉及一种多交互方式的智能头戴产品。
背景技术:
2.佩戴智能头戴产品带来的最主要的益处是佩戴者不再需要像使用手机那样手持设备操作,实现最大程度的解放双手,使佩戴者可以腾出手来处理其他工作,同时也不影响相关信息的获取。因此,良好的人机交互方式才能真正发挥智能头戴产品的优点。目前智能头戴产品的人机交互方式主要有语音控制、触控操作、按键交互、以及手势识别这几种,但是单一交互方式都会存在某些局限。
3.例如,语音操作的优点可以实现一个指令即可达到传统通过菜单进行层层操作才能达到的目的,但缺点也很明显,容易存在不识别或误识别的问题,如在嘈杂环境下有不识别的可能,或者对相似的语音指令或不标准的语音指令出现误识别导致。对于一些特殊场景下的操作,如针对特定中心的放大,缩小、平移操作,对光标位置的操作等,语音指令实现起来就不够直观。
4.触控操作的主要优点是显示对象和操作对象一致,操作直观性强,特别适合连续变化量的控制,如放大、缩小、平移等操控,如播放进度条,亮度调节等模拟量的控制。且由于是标准的输入方式,大部分应用软件都支持触控操作,通用性强。但采用近眼微显示屏的智能头戴产品,由于显示屏物理区域太小,且无法做到触控板和显示屏的叠加,故实现不了完全的直观操作。一般智能头戴产品上面的触控板也仅限于简单手势的识别,比如上下前后的滑动,长按、短按等有限的手势。无法对显示屏的任何地方进行“盲操作”,更无法通过触控板输入信息。
5.按键操作虽然具有可靠性高响应迅速的优点,但由于现有的头戴产品按键设置数量较多,且都独立分布,位置分布都比较散,而头戴产品在使用时,由于眼睛看不到按键,因此很难精准找到对应按键进行操作。
6.手势识别技术作为近几年开始的交互技术,不成熟,交互效率不高,容易出错,使用体验不佳。
7.因此,现有智能头戴产品所述按键操作以及单一的交互方式都无法做到人机交互的最优化,用户使用体验感都欠佳。
技术实现要素:
8.有鉴于此,本技术发明实施例的目的在于提供一种多交互方式的智能头戴产品,意在解决现有的智能头戴产品按键操作难精准找到对应按键进行操作,无法实现盲操,用户使用体验感都欠佳的问题。
9.本发明解决上述技术问题所采用的技术方案如下:
10.根据本发明实施例的一个方面提供一种多交互方式的智能头戴产品,包括头戴部,其特征在于,还包括设置在所述头戴部上的主控制板、显示屏、多向按键以及返回键,所
述主控制板分别与所述显示屏、多向按键以及返回键电连接,所述多向按键包括集成于一体设计的多个功能按键,所述多个功能按键的位置分布和功能设置与人在显示屏上感知的方向一致,所述返回键紧邻所述多向按键的一侧设置,所述多向按键用于输入操作控制信号并将所述控制信号传输到所述主控制板,所述主控制板接收到所述多向按键发送的控制信号后控制所述显示屏进行相应的显示,所述多向按键的位置设置上要求其在水平或竖直方向上至少有一个方向是和所述显示屏的位置方向平行。
11.其中,所述多向按键的多个功能按键至少包括上、下、左、右及确认五个功能按键,分别实现“上、下、左、右”方向操控功能以及“确认”的功能,所述上、下、左、右功能按键的位置分布和功能设置与人在显示屏上感知“上、下、左、右”保持一致,即“上下”和“左右”分布在空间上为垂直分布和水平分布。
12.其中,所述多向按键的功能按键分别对应相应功能的信号脚,所述功能的信号脚以及一个公共端分别与所述主控制板对应的控制脚及地连接,多向按键中间具有一突起的操控键,所述操控键控制所述功能的信号脚是否和公共端子导通。
13.其中,所述多向按键为转盘,所述多个功能按键分别对应顺时针旋转、逆时针旋转及确认三种功能,所述功能按键的旋转动作方向和与用户在显示屏上感知的“顺时针旋转”、“逆时针旋转”方向保持一致。
14.其中,所述多向按键和所述返回键分别为两个,对称地设置在所述头戴部的两侧。
15.其中,进一步还包括触控板,所述触控板与显示屏之间设置有触控ic芯片,所述主控制板分别与所述显示屏以及触控板电连接,所述触控板用于输入操作控制信号,所述触控ic芯片接收到所述操作控制信号后上报到所述主控制板,所述主控制板接收到所述上报的控制信号后进行自动识别,并根据识别的信号控制所述显示屏进行相应的显示。
16.其中,所述当所述主控制板上的操作系统识别到所述触控ic芯片上报的信号为单点触控数据信号时,所述主控制板控制显示屏上出现光标控制,触控板控制所述光标实现定位及移动;
17.当所述主控制板上的操作系统识别到所述触控ic芯片上报的信号为多点触控数据信号时,所述主控制板控制操作系统响应所述触控板上执行的相应的手势操作。
18.其中,所述触控板的摆放方位设置上要求其在水平或竖直方向上至少有一个方向是和所述显示屏的位置方向平行。
19.其中,所述触控板上设置有触控板数据输出端口,所述主控制板上设置有主控制板数据接收端口,所述触控板数据输出端口与所述主控制板数据接收端口之间通过数据线连接。
20.其中,所述头戴部上还设置有语音识别装置,所述语音识别装置包括近场定向拾音单元、语音识别单元、存储单元,所述近场定向拾音单元、语音识别单元、存储单元均与所述主控制板连接,其中,
21.所述近场定向拾音单元,用于定向拾取采集目标方向的语音信号;
22.所述存储单元,用于存储语音库文件,所述语音库文件包括有预设内置的语音资源信息;
23.所述语音识别单元,用于将所述定向拾取采集的目标方向的语音信号与预设内置的语音资源信息进行对比识别,并反馈识别结果;
24.所述主控制板还根据所述语音识别单元反馈的识别结果将识别出的语音信号通过广播的方式发送给需要接收语音指令的应用软件。
25.其中,所述近场定向拾音单元包括两个拾音麦克风,所述两个拾音麦克风的位置摆放要求满足:两个拾音麦克风摆放位置的连接延长线需要经过佩戴者的嘴巴,所述两个拾音麦克风组合的拾音空间上的任意点遵循阿波罗尼斯圆的定义。
26.本实施例所述多交互方式的智能头戴产品通过多向按键触发控制信号,然后以事件触发的方式上传给所述主控制板上的操作系统处理,最终主控制板控制显示屏显示相应结果以及实现对相应事件的响应。相对于现有的按键操控数量多且独立分布不便操作,误操率高,本技术按键采用集成式多向按键,按键分布较集中且在空间分布和功能设置上和人在显示屏上的感知一致,协调和符合人的使用习惯,能极大的提升盲操效率和准确性,且在显示屏上进行显示时,功能按键的操作方向和显示屏的控件运动方向也会有清晰的映射关系;使用者知道每个操作在空间的坐标位置和对应的虚拟显示内容及界面功能,因此操控效率和准确性都特别高。
27.相对于现有的智能头戴产品只能通过功能按键或语音按键来实现交互控制,实现功能单一,本技术实施例所述多交互方式的智能头戴产品用户还可以根据需要通过选择触控板操作、多向按键操作或语音识别操控中至少一种操作方式或几种操作方式组合实现与智能头戴产品进行交互,从而用户可以根据需要选择最优化的交互方式控制智能头戴产品,简单便捷,能极大的提升智能头戴产品的交互效率和容错性,提升用户使用体验感;从而能有效解决现有的智能头戴产品单一的交互方式,用户使用体验感欠佳的问题。
附图说明
28.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
29.图1a是本发明实施例提供的多交互方式的智能头戴产品第一实施例的结构框图;
30.图1b是本发明实施例提供的多交互方式的智能头戴产品第二实施例的结构框图;
31.图2是本发明实施例提供的多交互方式的智能头戴产品第三实施例的结构框图;
32.图3是本发明实施例提供的多交互方式的智能头戴产品的一角度结构示意图;
33.图4是本发明实施例提供的多交互方式的智能头戴产品的局部结构剖视图;
34.图5是本发明实施例提供的多交互方式的智能头戴产品的另一角度结构示意图;
35.图6是本发明实施例提供的多交互方式的智能头戴产品的局部结构放大图;
36.图7a是本发明实施例提供的多交互方式的智能头戴产品的多向按键一实施例的侧面结构示意图;
37.图7b是本发明实施例提供的多交互方式的智能头戴产品的多向按键一实施例的引脚结构示意图;
38.图7c是本发明实施例提供的多交互方式的智能头戴产品的多向按键另一实施例的结构示意图;
39.图7d是本发明实施例提供的多交互方式的智能头戴产品的多向按键另一实施例
的结构剖视图;
40.图7e是本发明实施例提供的多交互方式的智能头戴产品的多向按键另一实施例的旋转方向示意图;
41.图7f是本发明实施例提供的多交互方式的智能头戴产品的多向按键另一实施例输出的一种脉冲信息示意图;
42.图7g是本发明实施例提供的多交互方式的智能头戴产品的多向按键另一实施例输出的另一种脉冲信息示意图;
43.图8是本发明实施例提供的多交互方式的智能头戴产品的多向按键再一实施的结构示意图;
44.图9a是本发明实施例提供的多交互方式的智能头戴产品的显示屏显示界面示意图;
45.图9b是本发明实施例提供的用户与多交互方式的智能头戴产品的显示界面进行交互的示意图;
46.图10是本发明实施例提供的多交互方式的智能头戴产品的触控操作工作流程图;
47.图11是本发明实施例提供的多交互方式的智能头戴产品第四实施例的结构框图;
48.图12a是本发明实施例提供的多交互方式的智能头戴产品的再一角度结构示意图;
49.图12b是本发明实施例提供的多交互方式的智能头戴产品的拾音空间点的轨迹示意图;
50.图13是本发明实施例提供的多交互方式的智能头戴产品的语音识别方法的方法流程图。
具体实施方式
51.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白,以下结合附图和实施例,对本发明进行作进一步详细说明。应当理解,此处所描述的具体实施例仅仅以解释本发明,并不用于限定本发明。
52.请参阅图1至图13,其是本发明实施例提供的一种多交互方式的智能头戴产品的结构示意图。为了便于说明仅仅示出了与本实施例相关的部分。
53.实施例一
54.请参见图1a至图5所示,本技术实施例提供一种多交互方式的智能头戴产品,所述多交互方式的智能头戴产品包括头戴部1,以及设置在所述头戴部1上的主控制板10、显示屏11、以及多向按键5,所述主控制板10分别与所述显示屏11及多向按键5电连接,所述多向按键5用于输入操作控制信号并将所述控制信号传输到所述主控制板10,所述主控制板10接收到所述多向按键5发送的控制信号后控制所述显示屏11进行相应的显示。
55.请参阅图5至图8,在一实施例中,所述多向按键5包括集中分布的多个功能按键,所述多个功能按键集成于一体设计且多个功能按键的位置分布和功能设置与人在显示屏上的感知的方向一致,所述多向按键5的位置设置上要求其在水平或竖直方向上至少有一个方向是和所述显示屏的位置方向平行。
56.请参阅图7a至7b,所述多向按键5的多个功能按键至少包括上、下、左、右、确认五
个功能按键,分别实现“上、下、左、右”方向操控功能以及“确认”的功能,所述上、下、左、右功能按键的位置分布和功能设置与人在显示屏上感知“上、下、左、右”的方向保持一致,即“上下”和“左右”分布在空间上为垂直分布和水平分布。如此通过所述多向按键位置布局与人的空间感知保持对应,用户操作起来能够与人的感官认知保持一致,能极大的提高用户使用体验感。
57.所述多向按键5的五个功能按键分别对应相应功能的信号脚,所述五个功能的信号脚以及一个公共端分别与所述主控制板对应的控制脚及地连接,实现上、下、左、右、确认五个功能,多向按键中间具有一操控键,在本实施例中,所述位于中间部分的操控键为突起的摇杆7,摇杆7可以摇动及下压,来控制所述五个信号脚是否和公共端子导通。请参阅图7b、所述五个功能信号脚分别为51、52、53、54、56,其中55为公共端。
58.所述多向按键5的邻近一侧还设置有一返回键4,具体地,所述返回键4设置的距离为以所述多向按键5作为操作的坐标原点,其他手指能够操控的范围距离,如此在进行对多向按键5操作时,手指不必离开所述多向按键5,其他手指即可同时对返回键4进行操控,极大的提高操控便捷性,同时提高盲操性并能降低误操率。
59.所述返回键4为跑道型,所述返回键4与所述多向按键5的形状结构存在明显的区别,便于用户通过触觉辨识,由于摇杆的其突起设置,用户很容易定位到摇杆键7,再通过紧凑的按键布局,手指很容易借助摇杆键7的定位找到返回键4。
60.本技术实施例所述多交互方式的智能头戴产品通过设置多向按键5紧凑的位置空间分布,并且在位置布局和功能设置上和人在显示屏上感知的方向一致,协调和符合人的使用习惯,如“上下”和“左右”分布在空间上为垂直分布和水平分布,且“返回键4”紧邻所述多向按键5一侧,如此在进行对多向按键5操作时,手指不必离开所述多向按键5,其他手指即可同时对返回键4进行操控,极大的提高操控便捷性,并且“返回键4”和“电源开关键3”等按键的表面也有明显的相应的凹凸几何形状标识,这些都极大的提升盲操效率和准确性。通过多向按键5的上下左右方向和确认功能进行菜单选择,通过返回键4返回上一级菜单,很好的实现系统功能的盲操控,降低误操率。
61.请参阅图7c至图7f,在一实施例中,所述多向按键5还可以设置为转盘,此时所述显示屏11可以设计为圆形,所述多个功能按键分别对应顺时针旋转、逆时针旋转及确认三种功能,所述功能按键的旋转动作方向和与用户在显示屏上感知的“顺时针旋转”、“逆时针旋转”方向保持一致。
62.当对所述转盘进行顺时针/逆时针旋转操作时,对应所述显示屏所显示的屏幕画面会相应顺时针/逆时针移动,转盘的按压操作或者转盘中间部位设置的开关可以对应确认功能。
63.当所述多向按键5为转盘时,此时转盘是当做一种编码器,当转盘转动时,转盘端子会输出不同的脉冲信号,通过比较脉冲信号来判断转盘旋转方向、位置及速度,以此来控制系统选定光标移动的方向和速度。
64.请参阅图7c至7e,其为本技术实施例所述转盘的结构图,所述转盘包括外围端子a和外围端子b,以及中间部位的确认按键,所述外围端子a和b在转盘转动时候会输出脉冲或代码信号,其中外围端子a对应输出a通道信号,外围端子b对应输出b通道信号。比如,当转盘以顺时针方向旋转时,按图7f输出脉冲信号,a通道信号位于b通道之前;当转盘逆时针旋
转时,按图7g输出脉冲信号,a通道信号则位于b通道之后;由此判断转盘是顺时针旋(正转)转还是逆时针旋转(反转)。
65.在一实施例中,所述多交互方式的智能头戴产品可以为ar,通过多向按键5和返回键4,结合如图9a及9b所示的显示屏的显示界面,按键的操作方向和显示屏的控件运动方向会有清晰的映射关系,且按键的每一步操作,都有明确的功能,使用者知道每个操作在空间的坐标位置和对应的虚拟显示内容界面功能,因此操控效率特别高,可以实现盲操多向按键,方便快捷的操控设备。另外考虑不同人在平面方向映射上存在差异(例如手指的前后摇动对应垂直方向的上下,不同的人会有不同的感知),可以在软件设置上做个性化设计,满足不同人群的使用习惯,从而提升使用体验。
66.在一实施例中,所述多向按键5、“返回键4”可以分别设置在所述头戴部的两侧,结构上可以设置为左右对称,硬件上开关并联设计,如此可以实现左手或者右手均可操作,对于需要操作时间比较久的情况,可以双手轮流进行,这样可以解决单手长时间使用后手臂会出现酸痛感问题。
67.本技术多向按键5操作控制工作过程如下:
68.当对应操控所述多向按键5时,在显示屏上会对应出现左右方向键,按左右方向键在主菜单各项间循环选择,被选择到的主菜单项会突出显示(如高亮、放大等),同时会弹出该项下对应的子菜单项,弹出的子菜单项显示和主菜单分层显示,子菜单项位于顶层,并突出显示。
69.操作多向按键5时,按上下方向键会在子菜单各项间循环选择,被选择到的子菜单项会突出显示(如高亮、放大等)。
70.当确定当前子菜单项为最终需要选择的内容时,按确定键即启动该子菜单项功能。
71.相对于现有的按键操控数量多且独立分布不便操作,误操率高的问题,本技术按键采用多向按键,各功能按键集成于一体设计且多个功能按键的位置分布和功能设置与人在显示屏上的感知方向一致,协调和符合人的使用习惯,能极大的提升盲操效率和准确性,且在通过显示屏进行显示时,功能按键的操作方向和显示屏的控件运动方向有清晰的映射关系;使用者知道每个对应操作在空间的坐标位置和对应的虚拟显示内容的界面功能,因此操控效率和准确性都极大的提高。
72.在一实施例中,请参阅图1b,进一步还包括触控板12,所述触控板12设置于所述显示屏11的上方,所述触控板12与显示屏11之间设置有触控ic芯片13,所述主控制板10分别与所述显示屏11以及触控板12电连接,所述触控板12用于输入操作控制信号,所述触控ic芯片13接收到所述操作控制信号后上报到所述主控制板,所述主控制板10接收到所述上报的控制信号后进行识别并控制所述显示屏进行相应的显示。
73.当所述主控制板10上的操作系统识别到所述触控ic芯片13上报的信号为单点触控数据信号时,所述主控制板10控制显示屏11上出现光标控制,触控板12控制所述光标实现定位及移动。
74.当所述主控制板10上的操作系统识别到所述触控ic芯片13上报的信号为多点触控数据信号时,所述主控制板10控制操作系统响应所述触控板上执行的相应的手势操作。
75.在一实施例中,触控板12摆放方位设置上要求其在水平或竖直方向上至少有一个
方向是和显示屏11的方向平行,这样才能使人的空间知觉和触控操作动作形成对应一致。触控板12的摆放的位置要求有利于用户手的操作,且不遮挡视线,符合人机工学,所以所述触控板12最理想位置是设置在所述头戴部1的侧面,其次在其前方、最次在后方。
76.在一实施例中,所述触控板12上设置有触控板数据输出端口121,所述主控制板10上设置有主控制板数据接收端口101,所述触控板数据输出端口121与所述主控制板数据接收端口101之间通过数据线连接。
77.所述触控板12表面上覆盖有一层保护介质。在一实施例中,所述保护介质为塑胶壳体或薄膜。
78.本技术实施例所述触控板12与所述显示屏11进行分离设置,且在所述触控板12表面覆盖一层保护介质,能有效的对所述触控板12的表面起到保护作用。
79.请参阅图3至图5,在一实施例中,本技术实施例所述多交互方式的智能头戴产品可以为带触摸控制的安全帽,所述安全帽包括头戴部1,所述头戴部1的壳体的前上方设置有触摸控制区域100,所述显示屏11和所述触控板12设置固定在所述触摸控制区域100上,所述头戴部1的侧边设置所述多向按键5。
80.在一实施例中,所述主控制板10上还固化有内核驱动程序。
81.在一实施例中,所述触控板12与所述主控制板10之间通过i2c串行总线进行通信。
82.在一实施例中,所述主控制板10上还具有存储介质,所述存储介质上存储有操作系统。
83.在本实施例中,所述触控板12为多点触控板。
84.本技术所述触控板12采用多点触控板可以识别多点的触控数据和单点触控数据(相对坐标数据),通过将多点触控数据操作和单点触控数据操作的融合,这样用户在操作时,当触控ic芯片13上报的为多点触控数据时,所述主控制板10控制操作系统执行相应的手势操作;当触控ic芯片13上报的为相对坐标数据时,所述主控制板10控制操作系统执行类似鼠标光标的移动。
85.当触控板12没有接收到上报的任何数据时,则触控ic芯片13把触控板上传的数据当作相对坐标数据上传给所述主控制板10的操作系统,此时操作系统控制出现光标,类似鼠标的光标的移动。这时可以控制光标精确地点击显示屏任意一个图标。
86.在一实施例中,当触控板12上报上滑,下滑,左滑,右滑,放大、缩小等手势触控信号时,就把触控板12上传的数据当做多点触摸数据上传给所述主控制板10的操作系统。此时用户操作触控板12会不局限于鼠标的操作,还可以实现鼠标无法完成的其他动作操作。
87.本技术实施例所述多交互方式的智能头戴产品在具体操作时,用户通过触摸操作触控板12,通过触控ic芯片13驱动并识别对触控数据进行处理,或者通过多向按键触发控制信号,然后以事件触发的方式上报给所述主控制板10上的操作系统处理,最终主控制板10控制显示屏11显示相应结果以及实现对相应事件的响应。相对于现有的智能头戴产品只能通过功能按键或语音按键来实现交互控制,功能单一,本技术实施例所述多交互方式的智能头戴产品通过触控板或者多向按键触发控制显示屏实现用户的交互控制,操控简单方便,且操控功能多,用户使用操作直观,使用体验感较好。
88.本技术多交互方式的智能头戴产品通过安装所述触控板,所述触控ic芯片接收到所述操作控制信号后上报到所述主控制板10,所述主控制板10接收到所述上报的控制信号
后进行识别并控制所述显示屏11进行相应的显示,利用智能操作系统现有的数据接收格式,无需过多的改变软件,通过识别所述上报的信号,将触摸手势识别和触摸移动光标结合起来,使得智能头戴产品的触控板12可以精准、快速控制显示屏的任意一个地方,极大地提升智能头戴产品的可操作性,快速便捷,提升用户体验。
89.请参阅图10,用户通过触摸控制本技术实施例所述多交互方式的智能头戴产品时,其实现触摸控制的工作过程如下:
90.智能头戴产品触控板电源开启后,所述主控制板上固化的linux(一种操作系统内核)内核驱动程序会对所述触控板进行初始化,所述主控制板10通过i2c(inter-integrated circuit双向二线制同步串行总线)与所述触控板12进行通信交互,把系统用到的系统参数告知触控板12,比如屏幕分辨率,还有对触控板12的灵敏度,需要响应的操作等都告知触控板12。触控板12配置完成通知所述主控制板10的驱动程序已经准备就绪。触控板12进入工作状态。
91.当手指在触控板12上面移动的时候,触控板12的中断脚产生响应,告知主控制板10的操作系统触控板12需要上传数据。操作系统驱动响应这个中断,并通过i2c读取触控板12上传的数据。然后通过分析,判断是否为手势数据,当得知这个数据是移动数据时,内核驱动程序通过input(linux系统的输入子系统)事件,把相对坐标值上传给所述主控制板10的操作系统的框架层,所述操作系统的框架层接收到这个相对坐标值,通过计算,绘制显示图标,把光标呈现在所述显示屏11上面;并把触控板12触摸的轨迹转化为在显示屏11上面移动的光标轨迹。如此,用户便知道当前处于触摸屏的具体位置。
92.当手指快速上滑,下滑,左滑,右滑时,由于需要快速响应,所以触控板12直接把多点触摸的数据上传给所述主控制板10的操作系统的框架层,此时直接滑动触控屏12,光标这个时候会失效,如此实现使用类似手机触摸的做法。
93.同样的,读取触控板12上传的数据是否为放大、缩小、上下左右滑动等手势,即判断两根手指从中间往外拉,实现把放大的多点触摸数据上传,两根手机从外面往里合拢,实现把缩小的多点触摸数据上传。
94.因此,本技术实施例通过触摸控制基本能实现对智能头戴产品操作功能的各种情况显示及控制操作。
95.在一实施例中,所述触控板一般会响应一些手势的识别,比如两指点击,两指移动,可以对这些操作做出不同的响应比如触控板上传两指双击事件时,所述主控制板的内核驱动程序会读取到这个事件,上传给操作系统框架层该操作事件,则可以让显示屏显示相应的操作。
96.诸如此类,可以衍生出多种手势识别,具体需要根据触控板的功能做决定。
97.本技术实施例所述多交互方式的智能头戴产品通过不同数据上传的方式,实现了智能头戴产品在这些特殊功能应用场景下,对系统功能进行便捷快速操作。与现有技术相比,采用本技术实施例所述多交互方式的智能头戴产品,可以对各种应用软件进行复杂的操作,而且无需对应用软件做特殊定制(如设置语音指令等)就能在智能头戴产品上面使用,可利用目前智能操作系统形成的生态软件快速嵌入智能头戴产品进行使用,扩展了智能头戴产品的应用范围。
98.本技术实施例所述多交互方式的智能头戴产品通过触摸操作控制触控板,通过触
控ic芯片13驱动并识别对触控数据进行处理,然后以事件触发的方式上传给所述主控制板10上的操作系统处理,最终主控制板10控制显示屏11显示相应结果以及实现对相应事件的响应,本技术实施例所述智能头戴产品通过触摸触控板12控制显示屏11实现与用户的交互,操控简单方便,且操控功能多,用户使用操作直观,使用体验感较好。
99.请参阅5至图11,在一实施例中,所述头戴部上进一步还设置有语音识别装置20,所述语音识别装置20包括近场定向拾音单元201、语音识别单元202、存储单元203,所述近场定向拾音单元201、语音识别单元202、存储单元均203与所述主控制板10连接,其中,
100.所述近场定向拾音单元201,用于定向拾取采集目标方向的语音信号;
101.在一实施例中,所述近场定向拾音单元201包括两个拾音麦克风,分别为拾音麦克风21和拾音麦克风31,所述两个拾音麦克风的位置摆放要求满足:两个拾音麦克风摆放位置的连接延长线需要经过佩戴者的嘴巴,所述两个拾音麦克风组合的拾音空间61任意通过两个拾音麦克风的截面圆的大小遵循阿波罗尼斯圆的定义。本技术实施例通过所述近场定向拾音单元201可以定向拾音,消除外界的干扰,同时还可以较容易的做到回声消除。
102.所述存储单元203,用于存储语音库文件,所述语音库文件包括有预设内置的语音资源信息;
103.所述语音识别单元202,用于将所述定向拾取采集的目标方向的语音信号与预设内置的语音资源信息进行对比识别,并反馈识别结果;
104.所述主控制板10还根据所述语音识别单元202反馈的识别结果将识别出的语音信号通过广播的方式发送给需要接收语音指令的应用软件。
105.在本实施例中,所述拾音麦克风为二元mems(micro-electro-mechanical system微机电系统)麦克风,本技术采用二元mems麦克风线阵技术,进行定向声音采集及降噪,在保证较高音质保真的情况下,只拾取目标方向范围内的声音,抑制非目标方向的声音,以达到在嘈杂环境下,只识别佩戴者语音指令的目的。
106.在一实施例中,进一步还提供一种语音识别方法,请参阅图13,所述方法包括如下步骤:
107.s201、通过定向拾音单元定向拾取采集目标方向的语音信号;
108.请参阅图12a及图12b,具体地,所述定向拾音单元包括两个拾音麦克风,所述两个拾音麦克风的位置摆放要求满足:两个拾音麦克风摆放位置的连接延长线需要经过佩戴者的嘴巴。所述两个拾音麦克风组合的拾音空间上的任意点遵循阿波罗尼斯圆的定义。如图12b中,假设a、b为两个麦克风的位置,p为拾音空间上的点,则p的轨迹是以o为圆心,cd为直径的圆。前提pa/pb=k(k》0且k≠1),ac/cb=ad/db=m(m》0)
109.所述拾音麦克风为二元mems(micro-electro-mechanical system微机电系统)麦克风,如此采用二元mems麦克风线阵技术,进行定向声音采集及降噪,在保证较高音质保真的情况下,只拾取目标方向范围内的声音,抑制非目标方向的声音,从而达到在嘈杂环境下,只识别佩戴者语音指令的目的。
110.本技术拾音空间任意点通过两个麦克风的截面圆的大小遵循阿波罗尼斯圆的定义。通过调节两个拾音麦克风孔的相对位置和朝向可以控制需要拾音的绝对空间大小以及拾音角度。按照这种麦克风的空间配置方式,定向拾音单元的dsp芯片即可以实现定向定距离采集指令信息,在拾音空间以外发出的信息会被很好的抑制。
111.s202、将内置有语音资源信息的语音库文件预设存储在存储单元中;
112.具体地,将预设有内置的语音资料信息存在语音库文件中,并一起存储在存储单元中,如此可以在离线的情况下进行语音识别,而不需要连接到网络上。
113.s203、通过语音识别单元将所述定向拾取采集的目标方向的语音信号与内置的语音资源信息进行对比识别,并反馈输出识别结果;
114.具体地,包括步骤:
115.调用预设内置有语音资源信息的离线语音库文件接口;
116.语音库文件接口根据内置的语音资源信息与采集的目标方向的语音信号进行对比识别;
117.反馈所述对比识别结果到app主线程;
118.检查app识别结果并授权白名单;
119.通过广播的方式发送给需要接收语音指令的应用软件;
120.应用软件接收到识别结果后执行相应的指令。
121.s204、根据所述语音识别单元反馈的识别结果将识别出的语音信号通过广播的方式发送给需要接收语音指令的应用软件。
122.本技术实施例智能头戴产品通过设置语音识别装置并调节两个拾音麦克风孔的相对位置和朝向可以控制需要拾音的绝对空间大小以及拾音角度。按照本技术实施例所述麦克风的空间配置方式,近场定向拾音单元的dsp芯片即可以实现定向定距离采集目标方向的语音指令信息,在拾音空间以外发出的语音信息会被很好的抑制。
123.本技术实施例为了提高语音指令的响应速度,以便用更接近自然语言交互方式,语音识别装置通过存储内置语音资源信息的语音库文件,如此可以采用免唤醒词就可以进行离线语音识别。
124.在本实施例中,所述多交互方式的智能头戴产品用户可以根据需要选择触控板操作、多向按键操作、语音识别操控中三种组合操作方式进行任意组合使用,比如可以单独选择某一操作方式或者几种操作方式组合,从而用户可以根据需要及喜好选择最优化的交互方式控制智能头戴产品,简单便捷,极大的提升用户使用体验感;从而本技术能有效解决现有的智能头戴产品单一的交互方式,用户使用体验感欠佳的问题。
125.综上所述,本技术实施例所述多交互方式的智能头戴产品用户可以根据需要选择触控板操作、多向按键操作或语音识别操控中至少一种操作方式或几种操作方式组合实现与智能头戴产品进行交互,从而用户可以根据需要选择最优化的交互方式控制智能头戴产品,简单便捷,能极大的提升智能头戴产品的交互效率和容错性,提升用户使用体验感;从而本技术能有效解决现有的智能头戴产品单一的交互方式,用户使用体验感欠佳的问题。
126.以上参照附图说明了本发明的优选实施例,并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质内所作的任何修改、等同替换和改进,均应在本发明的权利范围之内。
技术特征:
1.一种多交互方式的智能头戴产品,包括头戴部,其特征在于,还包括设置在所述头戴部上的主控制板、显示屏、多向按键以及返回键,所述主控制板分别与所述显示屏、多向按键以及返回键电连接,所述多向按键包括集成于一体设计的多个功能按键,所述多个功能按键的位置分布和功能设置与人在显示屏上感知的方向一致,所述返回键紧邻所述多向按键的一侧设置,所述多向按键用于输入操作控制信号并将所述控制信号传输到所述主控制板,所述主控制板接收到所述多向按键发送的控制信号后控制所述显示屏进行相应的显示,所述多向按键的位置设置上要求其在水平或竖直方向上至少有一个方向是和所述显示屏的位置方向平行。2.如权利要求1所述的多交互方式的智能头戴产品,其特征在于,所述多向按键的多个功能按键至少包括上、下、左、右及确认五个功能按键,分别实现“上、下、左、右”方向操控功能以及“确认”的功能,所述上、下、左、右功能按键的位置分布和功能设置与人在显示屏上感知“上、下、左、右”保持一致,即“上下”和“左右”分布在空间上为垂直分布和水平分布。3.如权利要求2所述的多交互方式的智能头戴产品,其特征在于,所述多向按键的的功能按键分别对应相应功能的信号脚,所述功能的信号脚以及一个公共端分别与所述主控制板对应的控制脚及地连接,多向按键中间具有一突起的操控键,所述操控键控制所述功能的信号脚是否和公共端子导通。4.如权利要求1所述的多交互方式的智能头戴产品,其特征在于,所述多向按键为转盘,所述多个功能按键分别对应顺时针旋转、逆时针旋转及确认三种功能,所述功能按键的旋转动作方向和与用户在显示屏上感知的“顺时针旋转”、“逆时针旋转”方向保持一致。5.如权利要求1至4任一项所述的多交互方式的智能头戴产品,其特征在于,所述多向按键和所述返回键分别为两个,对称地设置在所述头戴部的两侧。6.如权利要求5所述的多交互方式的智能头戴产品,其特征在于,进一步还包括触控板,所述触控板与显示屏之间设置有触控ic芯片,所述主控制板分别与所述显示屏以及触控板电连接,所述触控板用于输入操作控制信号,所述触控ic芯片接收到所述操作控制信号后上报到所述主控制板,所述主控制板接收到所述上报的控制信号后进行自动识别,并根据识别的信号控制所述显示屏进行相应的显示。7.如权利要求6所述的多交互方式的智能头戴产品,其特征在于,当所述主控制板上的操作系统识别到所述触控ic芯片上报的信号为单点触控数据信号时,所述主控制板控制显示屏上出现光标控制,触控板控制所述光标实现定位及移动;当所述主控制板上的操作系统识别到所述触控ic芯片上报的信号为多点触控数据信号时,所述主控制板控制操作系统响应所述触控板上执行的相应的手势操作。8.如权利要求6所述的多交互方式的智能头戴产品,其特征在于,所述触控板的摆放方位设置上要求其在水平或竖直方向上至少有一个方向是和所述显示屏的位置方向平行。9.如权利要求6所述的多交互方式的智能头戴产品,其特征在于,所述触控板上设置有触控板数据输出端口,所述主控制板上设置有主控制板数据接收端口,所述触控板数据输出端口与所述主控制板数据接收端口之间通过数据线连接。10.如权利要求6所述的多交互方式的智能头戴产品,其特征在于,所述头戴部上还设置有语音识别装置,所述语音识别装置包括近场定向拾音单元、语音识别单元、存储单元,所述近场定向拾音单元、语音识别单元、存储单元均与所述主控制板连接,其中,
所述近场定向拾音单元,用于定向拾取采集目标方向的语音信号;所述存储单元,用于存储语音库文件,所述语音库文件包括有预设内置的语音资源信息;所述语音识别单元,用于将所述定向拾取采集的目标方向的语音信号与预设内置的语音资源信息进行对比识别,并反馈识别结果;所述主控制板还根据所述语音识别单元反馈的识别结果将识别出的语音信号通过广播的方式发送给需要接收语音指令的应用软件。11.如权利要求10所述的多交互方式的智能头戴产品,其特征在于,所述近场定向拾音单元包括两个拾音麦克风,所述两个拾音麦克风的位置摆放要求满足:两个拾音麦克风摆放位置的连接延长线需要经过佩戴者的嘴巴,所述两个拾音麦克风组合的拾音空间上的任意点遵循阿波罗尼斯圆的定义。
技术总结
本发明公开了一种多交互方式的智能头戴产品,涉及智能头戴技术领域。本申请通过多向按键触发控制信号,然后以事件触发的方式上传给主控制板上的操作系统处理,最终主控制板控制显示屏显示相应结果以及实现对相应事件的响应,本申请多向按键包括集成于一体设计的多个功能按键,功能按键的空间位置分布较集中,且功能按键在空间分布和功能设置上和人在显示屏上的感知一致,协调和符合人的使用习惯,且返回键紧邻所述多向按键的一侧设置,如此返回键和多向按键的位置布局能极大的提升盲操效率和准确性。本实施例用户可以根据需要选择最优化的交互方式控制智能头戴产品,简单便捷,能极大的提升智能头戴产品的交互效率和容错性,提升用户使用体验感。提升用户使用体验感。提升用户使用体验感。
技术研发人员:林能清 刘桂潮 陆军
受保护的技术使用者:深圳市谦视智能科技有限责任公司
技术研发日:2021.12.31
技术公布日:2022/3/8