一种基于AR眼镜的人物确定方法、装置、AR眼镜和介质与流程

专利查询7月前  63


一种基于ar眼镜的人物确定方法、装置、ar眼镜和介质
技术领域
1.本技术涉及人脸识别的技术领域,尤其是涉及一种基于ar眼镜的人物确定方法、装置、ar眼镜和介质。


背景技术:

2.ar眼镜又称为增强现实眼镜,ar眼镜通过透明玻璃直接在用户的直接视野中覆盖虚拟对象,ar眼镜的用户可以同时观察真实世界和虚拟世界。随着人工智能的快速发展,ar眼镜应用于多种场合,例如球赛、演唱会等各种大型活动场合。
3.但是,在实现本技术的过程中,发明人发现:当在球赛、演唱会等各种大型活动场所使用ar眼镜时,由于参演人员较多,如何使用ar眼镜快速地选择确定目标人物,并准确地显示该目标人物成为一个关键问题。


技术实现要素:

4.为了提高确定目标人物的速度,本技术提供一种基于ar眼镜的人物确定方法、装置、ar眼镜和介质。
5.第一方面,本技术提供一种基于ar眼镜的人物确定方法,包括:获取历史信息,所述历史信息包括历史多媒体信息和/或历史对象信息,所述历史多媒体信息为包含历史对象的多媒体信息,所述历史对象信息包括历史对象的人脸特征;基于所述历史信息确定候选对象,并控制显示候选对象的对象属性信息,所述对象属性信息包括:姓名、性别、年龄及职业;基于用户的选择操作,确定目标对象,并基于所述历史信息确定所述目标对象的人脸特征;基于所述目标对象的人脸特征,从当前场景下拍摄的多媒体信息中追踪所述目标对象,并控制在所述当前场景下拍摄的多媒体信息中通过预设方式显示所述目标对象。
6.通过采用上述技术方案,当用户在当前场景佩戴ar眼镜时,ar眼镜从历史信息中获取候选对象,并基于用户选择确定出目标对象,以从历史信息中获取目标对象的人脸特征,从而可以基于获取到的人脸特征,在当前场景的多媒体信息中追踪显示目标对象,从而可以快速选择确定出目标对象,并且准确地追踪显示该目标对象。
7.在另一种可能的实现方式中, 所述基于所述历史信息确定候选对象,包括:基于所述历史信息获取各个历史对象的人脸特征;获取当前场景的时间信息和位置信息;基于所述时间信息和所述位置信息获取特定多媒体信息,所述特定多媒体信息包括于当前场景出场的出场对象,所述特定多媒体信息为其他用户上传的与所述时间信息和位置信息相匹配的多媒体信息;基于所述特定多媒体信息获取所述出场对象的人脸特征;基于所述出场对象的人脸特征和所述历史对象的人脸特征确定候选对象,候选对
象的人脸特征为所述出场对象的人脸特征与所述历史对象的人脸特征中对比一致的人脸特征。
8.通过采用上述技术方案,ar眼镜根据当前的位置信息和时间信息确定获取特定多媒体信息,通过特定多媒体信息中的出场对象的人脸特征与历史对象中的人脸特进行筛选,进而得到对比一致的人脸特征,因此初步筛选确定候选对象,ar眼镜根据场景的变化对候选对象进行个性化筛选,适用于当前场景,减少用户确定目标对象的时间。
9.在另一种可能的实现方式中,所述基于所述历史信息确定候选对象之后还包括:获取各个候选对象分别对应的对象属性信息;获取节目名单,所述节目名单包括节目顺序,各个节目分别对应的开始时间以及各个节目分别对应的出场对象;基于所述节目名单获取各个节目分别对应的出场对象的对象属性信息;基于所述每个节目相应的出场对象的对象属性信息和所述候选对象的对象属性信息确定每个节目相应的候选对象,所述每个节目相应的候选对象的对象属性信息为所述每个节目相应的出场对象的对象属性信息与所述候选对象的对象属性信息中对比一致的对象属性信息;其中,所述控制显示候选对象的对象属性信息,包括:当达到各个节目分别对应的开始时间时,通过控制显示各自相应的候选对象的对象属性信息。
10.通过采用上述技术方案,ar眼镜获取当前场景的第一多媒体信息,进而通过第一多媒体信息对候选对象进行进一步的筛选,根据每个节目相应的候选对象的对象属性信息与候选对象的对象属性信息对比,进一步筛选得到每个节目相应的候选对象,便于用户根据节目进度重新确定候选对象,提高ar眼镜的使用体验。
11.在另一种可能的实现方式中,所述候选对象为至少两个,则,控制显示候选对象的对象属性信息,包括:基于各个候选对象分别对应的人脸特征,确定各个所述候选对象分别对应的对象属性信息;基于所述历史信息获得用户对各个候选对象的喜好度;根据所述各个候选对象的喜好度对所述各个候选对象进行排序;按照排序结果,控制显示各个候选对象分别对应的对象属性信息。
12.通过采用上述技术方案,当确定候选对象为至少两个时,将候选对象的对象属性信息按照用户对各个候选对象的喜好度排序显示,用户更先看到喜好度高的候选对象,提高确定目标对象的速度,进而可以提升用户体验。
13.在另一种可能的实现方式中,所述基于所述历史信息获得用户对各个候选对象的喜好度,包括:基于所述历史对象信息确定所述各个候选对象被确定为目标对象的次数;基于所述各个候选对象被确定为目标对象的次数对各个候选对象降序排列,以获得第一排序信息;基于各个候选对象分别对应的历史多媒体信息分别获得各个候选对象分别对应的历史人物特征,任一候选对象对应的历史人物特征为所述任一候选对象在每个历史多媒
体信息中所对应的人物特征,所述历史人物特征包括服装特征以及发型特征;确定各个候选对象分别对应的历史人物特征数量,任一候选对象对应的历史人物特征数量为所述任一候选对象在各个历史多媒体信息中历史人物特征不同的数量,所述历史人物特征不同包括:服装特征以及发型特征中至少一个特征不同;基于各个所述候选对象分别对应的历史人物特征数量对各个候选对象降序排列,以获得第二排序信息;根据所述第一排序信息和所述第二排序信息,确定用户对所述候选对象的喜好度。
14.通过采用上述技术方案,ar眼镜在通过历史信息获取用户对各个候选对象的喜好度时,通过各个候选对象被确定为目标对象的次数获得第一排序信息,通过各个候选对象分别对应的历史人物特征数量获得第二排序信息,进而通过第一排序信息和第二排序信息获取最终的排序信息,进而通过最终的排序信息反映出用户对候选对象的喜好度,提高ar眼镜分析用户对候选对象喜好度的精确性。
15.在另一种可能的实现方式中,所述用户的选择操作采用按键选择、触屏选择、手势选择、瞳孔识别中至少一种方式,当采用瞳孔识别方式时,所述基于用户的选择操作,确定目标对象,包括:获取所述各个候选对象分别对应的显示位置,所述显示位置为在对象属性信息在显示区域的显示位置;获取用户的瞳孔位置和/或用户视线在各个显示位置分别对应的停留时间;基于所述用户的瞳孔位置以及所述用户视线在各个显示位置分别对应的停留时间中的至少一项以及所述各个候选对象分别对应的显示位置,确定所述目标对象。
16.通过采用上述技术方案,各个候选对象显示在显示区域后,ar眼镜获取各个候选对象的显示位置,因此ar眼镜可根据用户的瞳孔位置和/或用户视线与各个候选对象的显示位置对应,确定用户注视的对象属性信息,并且ar眼镜可根据用户的瞳孔位置和/或用户视线在显示位置对应的停留时间确定用户选择的目标对象,简化用户选择目标对象的步骤动作。
17.在另一种可能的实现方式中,还包括:当在所述当前场景的多媒体信息中检测到目标对象的动作信息为特定动作信息时,执行抓拍操作,保存抓拍的多媒体信息,所述特定动作信息包括所述目标对象的特定手势动作信息和/或特定肢体动作信息。
18.通过采用上述技术方案,ar眼镜在目标对象的动作信息为特定动作信息时,抓拍并保存多媒体信息,根据用户的喜好获得包含目标对象的多媒体信息,满足用户使用ar眼镜的个性化需求,提高使用便利性。
19.第二方面,本技术提供一种基于ar眼镜的人物确定装置,包括:获取模块,用于获取历史信息,所述历史信息包括历史多媒体信息和/或历史对象信息,所述历史多媒体信息为包含历史对象的多媒体信息,所述历史对象信息包括历史对象的人脸特征;第一确定模块,用于基于所述历史信息确定候选对象,并控制显示候选对象的对象属性信息,所述对象属性信息包括:姓名、性别、年龄及职业;
第二确定模块,用于基于用户的选择操作,确定目标对象,并基于所述历史信息确定所述目标对象的人脸特征;控制显示模块,用于基于所述目标对象的人脸特征,从当前场景下拍摄的多媒体信息中追踪所述目标对象,并控制在所述当前场景下拍摄的多媒体信息中通过预设方式显示所述目标对象。
20.通过采用上述技术方案,当用户在当前场景佩戴ar眼镜时,获取模块获取历史信息,第一确定模块基于用户选择确定出目标对象,第二确定模块以从历史信息中获取目标对象的人脸特征,从而控制显示模块可以基于获取到的人脸特征,在当前场景的多媒体信息中追踪显示目标对象,从而可以快速选择确定出目标对象,并且准确地追踪显示该目标对象。
21.在另一种可能的实现方式中,第一确定模块在基于所述历史信息确定候选对象时,具体用于:基于所述历史信息获取各个历史对象的人脸特征;获取当前场景的时间信息和位置信息;基于所述时间信息和所述位置信息获取特定多媒体信息,所述特定多媒体信息包括于当前场景出场的出场对象,所述特定多媒体信息为其他用户上传的与所述时间信息和位置信息相匹配的多媒体信息;基于所述特定多媒体信息获取所述出场对象的人脸特征;基于所述出场对象的人脸特征和所述历史对象的人脸特征确定候选对象,候选对象的人脸特征为所述出场对象的人脸特征与所述历史对象的人脸特征中对比一致的人脸特征。
22.在另一种可能的实现方式中,第一确定模块在基于所述历史信息确定候选对象之后,具体用于:获取各个候选对象分别对应的对象属性信息;获取节目名单,所述节目名单包括节目顺序,各个节目分别对应的开始时间以及各个节目分别对应的出场对象;基于所述节目名单获取各个节目分别对应的出场对象的对象属性信息;基于所述每个节目相应的出场对象的对象属性信息和所述候选对象的对象属性信息确定每个节目相应的候选对象,所述每个节目相应的候选对象的对象属性信息为所述每个节目相应的出场对象的对象属性信息与所述候选对象的对象属性信息中对比一致的对象属性信息;其中,第一确定模块在控制显示候选对象的对象属性信息时,具体用于:当达到各个节目分别对应的开始时间时,通过控制显示各自相应的候选对象的对象属性信息。
23.在另一种可能的实现方式中,候选对象为至少两个,第一确定模块在控制显示候选对象的对象属性信息时,具体用于:基于各个候选对象分别对应的人脸特征,确定各个所述候选对象分别对应的对象属性信息;基于所述历史信息获得用户对各个候选对象的喜好度;
根据所述各个候选对象的喜好度对所述各个候选对象进行排序;按照排序结果,控制显示各个候选对象分别对应的对象属性信息。
24.在另一种可能的实现方式中,当第一确定模块在基于所述历史信息获得用户对各个候选对象的喜好度时,具体用于:基于所述历史对象信息确定所述各个候选对象被确定为目标对象的次数;基于所述各个候选对象被确定为目标对象的次数对各个候选对象降序排列,以获得第一排序信息;基于各个候选对象分别对应的历史多媒体信息分别获得各个候选对象分别对应的历史人物特征,任一候选对象对应的历史人物特征为所述任一候选对象在每个历史多媒体信息中所对应的人物特征,所述历史人物特征包括服装特征以及发型特征;确定各个候选对象分别对应的历史人物特征数量,任一候选对象对应的历史人物特征数量为所述任一候选对象在各个历史多媒体信息中历史人物特征不同的数量,所述历史人物特征不同包括:服装特征以及发型特征中至少一个特征不同;基于各个所述候选对象分别对应的历史人物特征数量对各个候选对象降序排列,以获得第二排序信息;根据所述第一排序信息和所述第二排序信息,确定用户对所述候选对象的喜好度。
25.在另一种可能的实现方式中,用户的选择操作采用瞳孔识别的方式,第二确定模块在基于用户的选择操作,确定目标对象时,具体用于:获取所述各个候选对象分别对应的显示位置,所述显示位置为在对象属性信息在显示区域的显示位置;获取用户的瞳孔位置和/或用户视线在各个显示位置分别对应的停留时间;基于所述用户的瞳孔位置以及所述用户视线在各个显示位置分别对应的停留时间中的至少一项以及所述各个候选对象分别对应的显示位置,确定所述目标对象。
26.在另一种可能的实现方式中,本装置还包括抓拍模块,其中,所述抓拍模块,用于:当在所述当前场景的多媒体信息中检测到目标对象的动作信息为特定动作信息时,执行抓拍操作,保存抓拍的多媒体信息,所述特定动作信息包括所述目标对象的特定手势动作信息和/或特定肢体动作信息。
27.第三方面,本技术提出一种ar眼镜,包括存储器和处理器,所述存储器上存储有能够被处理器加载并执行如第一方面中任一种方法的计算机程序。
28.通过采用上述技术方案,当用户在当前场景佩戴ar眼镜时,处理器加载并执行存储器中存储的计算机程序,使ar眼镜实现从历史信息中获取候选对象,用户从显示的候选对象中确定目标对象,当用户在当前场景佩戴ar眼镜时,使ar眼镜获取历史信息,基于用户选择确定出目标对象,以从历史信息中获取目标对象的人脸特征,从而可以基于获取到的人脸特征,在当前场景的多媒体信息中追踪显示目标对象,从而可以快速选择确定出目标对象,并且准确地追踪显示该目标对象。
29.第四方面,本技术提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面中任一项所述的方法。
30.通过采用上述技术方案,当用户在当前场景佩戴ar眼镜时,处理器加载并执行计
算机可读存储介质中存储的计算机程序,该程序使ar眼镜实现从历史信息中获取候选对象,用户从显示的候选对象中确定目标对象,当用户在当前场景佩戴ar眼镜时,使ar眼镜获取历史信息,基于用户选择确定出目标对象,以从历史信息中获取目标对象的人脸特征,从而可以基于获取到的人脸特征,在当前场景的多媒体信息中追踪显示目标对象,从而可以快速选择确定出目标对象,并且准确地追踪显示该目标对象。
附图说明
31.图1是本技术实施例中基于ar眼镜的人物确定方法的整体流程示意图。
32.图2是本技术实施例中基于ar眼镜的人物确定装置的结构示意图。
33.图3是本技术实施例中ar眼镜的结构框图。
具体实施方式
34.本具体实施例仅仅是对本技术的解释,其并不是对本技术的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本技术的权利要求范围内都受到专利法的保护。
35.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
36.另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
37.下面结合说明书附图对本技术实施例作进一步详细描述。
38.本技术提供一种基于ar眼镜的人物确定方法,该方法可以由ar眼镜执行,参照图1,包括(步骤s101~步骤s104):步骤s101:获取历史信息,历史信息包括历史多媒体信息和/或历史对象信息,历史多媒体信息为包含历史对象的多媒体信息,历史对象信息包括历史对象的人脸特征。
39.用户可以在各种活动场所使用ar眼镜,比如比赛或演唱会等,若需要使用ar眼镜观看活动并定位到目标人物,则发出启用指令,当ar眼镜接收到用户的启用指令后,开始确定目标对象。
40.其中,历史对象为用户关注过的对象,历史对象包括用户确定过的目标对象,而历史多媒体信息包括用户保存的或ar眼镜自动保存的多媒体息,历史对象信息包括每次被确定为目标对象的人脸特征。
41.步骤s102:基于历史信息确定候选对象,并控制显示候选对象的对象属性。
42.本技术实施例中,历史信息可以反映用户对对象的观看喜好度,ar眼镜对历史信息进行统计处理,确定候选对象,并且将候选对象的对象属性信息显示在显示区域,便于用户从候选对象中选择目标对象。
43.并且,ar眼镜可以使候选对象的属性信息以列表的形式显示在显示区域,或者,将每个候选对象的属性信息显示在一个框格内,并将框格平铺显示在显示区域,本技术对显
示方式不作具体限定。
44.步骤s103:基于用户的选择操作,确定目标对象,并基于历史信息确定目标对象的人脸特征。
45.用户根据显示区域上显示的候选对象属性信息选择确定目标对象,ar眼镜获取用户的选择操作信息后,获取目标对象的人脸特征。
46.其中,用户的选择操作可以采用按键选择、触屏选择、手势选择、瞳孔识别中至少一种方式,本技术对选择操作方式不作具体限定。
47.当历史信息只包含历史多媒体信息时,ar眼镜查找包含目标对象的历史多媒体信息,并通过历史多媒体信息获取目标对象的人脸特征。
48.当历史信息包含历史多媒体信息和历史对象信息时,ar眼镜获取历史多媒体信息中目标对象的人脸特征,并与历史对象信息包含的目标对象的人脸信息综合得到最终的目标对象的人脸特征,提高目标对象的人脸特征的准确性。
49.步骤s104:基于目标对象的人脸特征,从当前场景下拍摄的多媒体信息中追踪目标对象,并控制在当前场景下拍摄的多媒体信息中通过预设方式显示目标对象。
50.ar眼镜获得目标对象的人脸特征后,获取当前场景下拍摄的多媒体信息中所有对象的人脸特征,并将所有对象的人脸特征与目标对象的人脸特征一一对比,对比一致的对象即确定为目标对象。
51.此时,ar眼镜对确定的目标对象进行追踪,同时,为了便于用户观看目标对象,ar眼镜对目标对象通过预设方式进行显示。在本技术实施例中,ar眼镜通过预设方式显示目标对象的方式包括显示指示框来框选目标对象、显示指示箭头来指示目标对象或放大显示目标对象其中至少一种。便于用户在当前场景中追踪观看目标人物。
52.本技术实施例提供一种基于ar眼镜的人物确定方法,ar眼镜通过历史信息确定来确定候选对象,用户根据当前场景从候选对象中选择目标对象,ar眼镜获得用户的选择操作后,根据历史信息获取目标对象的人脸特征,并根据目标对象的人脸特征在当前场景的多媒体信息中追踪目标对象,并通过预设方式显示目标对象。
53.进一步地,ar眼镜存储的历史信息较多,候选对象较多,增加了用户从多个候选对象中选择目标对象的步骤,为了便于用户快速选择目标对象,ar眼镜与当前场景结合确定候选对象,其中,基于历史信息确定候选对象,包括(步骤s1021~步骤s1025)(图中均未示出):步骤s1021:基于历史信息获取各个历史对象的人脸特征。
54.具体地,当ar眼镜保存历史多媒体信息时,则对历史多媒体信息中的历史对象进行人脸识别,以获得各个历史对象的人脸特征并保存,便于ar眼镜直接获取各个对象的人脸特征,简化计算步骤。
55.步骤s1022:获取当前场景的时间信息和位置信息。
56.其中,当ar眼镜发出启用指令后,ar眼镜即可获取当前场景所在的位置信息,以及当前的时间信息,进而可以通过互联网搜索得到在当前位置信息和时间信息下举行的活动名称。
57.步骤s1023:基于时间信息和位置信息获取特定多媒体信息。
58.其中,特定多媒体信息包括于当前场景出场的出场对象,特定多媒体信息为其他
用户上传的与时间信息和位置信息相匹配的多媒体信息。
59.具体地,在获取到当前场景的时间信息和位置信息后,即可以基于获取到的时间信息从互联网中获取与该时间信息和位置信息相匹配的多媒体信息。例如,当前场景的时间信息为2021.11.17下午8:00,位置信息为工人体育场,则从互联网中获取其他用户在2021.11.17下午7:50~2021.11.17下午8:00,位置为工人体育场拍摄并上传的视频。
60.其中,其他用户包括参加活动的观众或者活动官方,因此,特定多媒体信息可以为参加活动的观众所上传的多媒体信息,也可以为活动官方发送的海报或宣传片等。
61.步骤s1024:基于特定多媒体信息获取出场对象的人脸特征。
62.具体地,特定多媒体信息中包括当前场景出场的出场对象。ar眼镜通过特定多媒体信息获取出场对象的人脸特征,并根据出场对象的人脸特征来确定候选对象。
63.步骤s1025:基于出场对象的人脸特征和历史对象的人脸特征确定候选对象。
64.其中,候选对象的人脸特征为出场对象的人脸特征与历史对象的人脸特征中对比一致的人脸特征。
65.具体地,将历史对象的人脸特征与出场对象的人脸特征一一对比,筛选出候选对象,则筛选出的候选对象均在当前场景中出场,因而ar眼镜不显示不出场的历史对象,减少了候选对象的数量,便于用户快速选择目标对象。
66.进一步地,步骤s1021和步骤s1022、步骤s1023以及步骤s1024之间没有严格的先后执行顺序,例如,步骤s1021可以在步骤s1022之后执行,还可以在步骤s1022之前执行,本技术实施例不对上述步骤的执行顺序作具体限定,任何执行顺序均位于本技术实施例的保护范围之内。
67.本技术实施例的另一种可能的实现方式,ar眼镜可以通过当前场景的节目单来确定每个节目的候选对象,其中,基于历史信息确定候选对象之后,还包括(步骤s1~步骤s4)(图中均未示出):步骤s1:获取各个候选对象的对象属性信息。
68.具体地,ar眼镜可获取历史信息中关于各个候选对象的人脸特征,进而基于各个候选对象的人脸特征通过互联网获取各个候选对象的对象属性信息。
69.另一种可能的实现方式中,ar眼镜预存用户输入的每个历史对象的对象属性信息,ar眼镜直接获取各个候选对象的对象属性信息。
70.步骤s2:获取节目名单,所述节目名单包括节目顺序,各个节目分别对应的开始时间以及各个节目分别对应的出场对象;其中,ar眼镜可以通过互联网获取当前场景的节目名单,并采用文字识别的方式依次获取节目名单中的各个节目顺序、各个节目分别对应的开始时间以及各个节目分别对应的出场对象。
71.另一种实现方式中,ar眼镜可以拍摄当前场景的节目单,从而得使ar眼镜保存节目名单。
72.步骤s3:基于节目名单获取各个节目分别对应的出场对象的对象属性信息;具体地,ar眼镜可通过文字识别节目名单获取各个出场对象的对象属性信息,其中,获取的各个出场对象的对象属性信息中至少包括出场对象的姓名。
73.步骤s4:基于每个节目相应的出场对象的对象属性信息和候选对象的对象属性信
息确定每个节目相应的候选对象,每个节目相应的候选对象的对象属性信息为每个节目相应的出场对象的对象属性信息与候选对象的对象属性信息中对比一致的对象属性信息;具体地,将每个节目相应的出场对象的属性信息与候选对象的对象属性信息一一对比,在两者的属性信息中至少姓名对比一致,则对比一致的候选对象被确定为每个节目相应的候选对象。
74.其中,控制显示候选对象的对象属性信息,包括:当达到各个节目分别对应的开始时间时,通过控制显示各自相应的候选对象的对象属性信息。
75.具体地,随着节目的进行,每个节目的出场对象有变动,在节目开始前,ar眼镜将每个节目相应的候选对象的对象属性信息显示在显示区域,便于用户确定每个节目对应的目标对象。并且因此提高用户体验。
76.本技术实施例不对上述步骤的执行顺序作具体限定,任何执行顺序均位于本技术实施例的保护范围之内。
77.在另一种可能的实现方式中,若候选对象为至少两个,则控制显示候选对象的属性信息,包括:基于各个候选对象分别对应的人脸特征,确定各个候选对象分别对应的对象属性信息;基于历史信息获得用户对各个候选对象的喜好度;根据各个候选对象的喜好度对各个候选对象进行排序;按照排序结果,控制显示各个候选对象分别对应的对象属性信息。
78.具体地,ar眼镜确定候选对象后,根据各个候选对象分别对应的人脸信息通过互联网搜索得到各个候选对象分别对应的对象属性信息,也可以从预设数据库中获取各个候选对象分别对应的对象属性信息。其中,预设数据库中存储着对象的人脸特征和对象属性信息之间的映射关系。在本技术实施例中,用户可以通过各个候选对象分别对应的对象属性信息直观清楚地了解各个候选对象。
79.其中,根据历史信息中各个候选对象出现的频次可以获得用户对各个候选对象的喜好度,并且将候选对象按喜好度排序后,便于用户进行个性化选择。
80.进一步地,为了获得更为准确的用户对各个候选对象的喜好度,基于历史信息获得用户对各个候选对象的喜好度,包括(步骤sa~步骤sf)(图中均未示出):步骤sa:基于历史对象信息确定各个候选对象被确定为目标对象的次数。
81.具体地,当从历史对象中确定目标对象后,ar眼镜获取目标对象的人脸特征,并保存目标对象的人脸特征。当保存的历史对象的人脸特征多次被确定为目标对象时,历史对象的人脸特征与确定为目标对象的次数一同保存,即ar眼镜针对每个历史对象被确定为目标对象的次数进行记录,因此ar眼镜通过历史对象信息可以直接确定各个候选对象被确定为目标对象的次数。
82.在另一种可能的实现方式中,ar眼镜将每次确定为目标对象的人脸特征分别保存,当ar眼镜确定各个候选对象被确定为目标对象的次数时,将候选对象的人脸信息与ar眼镜保存的各个历史对象的人脸特征一一对比,获得对比一致的数量即为各个候选对象被确定为目标对象的次数。
83.步骤sb:基于各个候选对象被确定为目标对象的次数对各个候选对象降序排列,以获得第一排序信息。
84.例如:ar眼镜确定候选对象分别为a、b、c,其中,各个候选对象被确定为目标对象的次数分别为1次、3次、2次。则第一排序信息为b、c、a。
85.步骤sc:基于各个候选对象分别对应的历史多媒体信息分别获得各个候选对象分别对应的历史人物特征。
86.其中,任一候选对象对应的历史人物特征为任一候选对象在每个历史多媒体信息中所对应的人物特征,历史人物特征包括服装特征以及发型特征。
87.当ar眼镜获取保存每个历史对象对应的历史多媒体信息时,即可对各个历史对象分别对应的历史多媒体信息进行图像识别,获取各个历史对象分别对应的历史人物特征,并保存,以使得当ar眼镜获取各个候选对象分别对应的历史人物特征时,可直接获取,减小计算复杂度,并且可以提高获取各个候选对象分别对应的历史人物特征的速度。
88.在另一种可能的实现方式中,当ar眼镜确定候选对象后,ar眼镜对各个候选对象分别对应的历史多媒体信息进行图像识别,进而获取各个候选对象分别对应的历史人物特征。
89.步骤sd:确定各个候选对象分别对应的历史人物特征数量。
90.其中,任一候选对象对应的历史人物特征数量为任一候选对象在各个历史多媒体信息中历史人物特征不同的数量,历史人物特征不同包括:服装特征以及发型特征中至少一个特征不同。
91.具体地,当历史多媒体信息中任一候选对象的历史人物特征数量多时,则可以反映出用户通过ar眼镜观看该候选对象的次数多,则对应的任一候选对象的喜好度高。
92.例如:候选对象a的历史人物特征分别包括:服装特征1、发型特征2;服装特征1、发型特征3;服装特征2、发型特征3;服装特征2、发型特征3。
93.则候选对象a对应的历史人物特征数量为3。
94.若候选对象b对应的历史人物特征数量为4,则用户对候选对象b的喜好度高于候选对象a。
95.步骤se:基于各个候选对象分别对应的历史人物特征数量对各个候选对象降序排列,以获得第二排序信息。
96.例如:候选对象a对应的历史人物特征数量为3、候选对象b对应的历史人物特征数量为4、候选对象c对应的历史人物特征数量为1,则第二排序信息为:b、a、c。
97.步骤sf:根据第一排序信息和第二排序信息,确定用户对候选对象的喜好度。
98.具体地,由于第一排序信息是按照各个候选对象被确定为目标对象的次数生成的,因此第一排序信息较第二排序信息中的内容更能反映用户对各个候选对象的喜好度。因此在根据第一排序信息和第二排序信息确定用户对候选对象喜好度时,将第一排序信息和第二排序信息中每个候选对象的次序按照权重比例计算重新排序,获得最终的排序信息,其中,候选对象的次序在第一排序信息中的权重比例大于在第二排序信息中的权重比例。
99.例如:第一排序信息:b、c、a;
第二排序信息:b、a、c;候选对象a:在第一排序信息中的次序为3、在第二排序信息中的次序为2;候选对象b:在第一排序信息中的次序为1、在第二排序信息中的次序为1;候选对象c:在第一排序信息中的次序为2、在第二排序信息中的次序为3。
100.例如,设置候选对象的次序在第一排序信息中的权重比例为60%、候选对象的次序在第二排序信息中的权重比例为40%,则计算获得最终的排序信息b、c、a。确定用户对候选对象的喜好度由高至低依次为b、c、a。
101.在另一种可能的实现方式中,当ar眼镜采用瞳孔识别方式获取用户的选择操作时,基于用户的选择操作,确定目标对象,具体可以包括:获取各个候选对象分别对应的显示位置,显示位置为在对象属性信息在显示区域的显示位置;获取用户的瞳孔位置和/或用户视线在各个显示位置分别对应的停留时间;基于用户的瞳孔位置以及用户视线在各个显示位置分别对应的停留时间中的至少一项以及各个候选对象分别对应的显示位置,确定目标对象。
102.对于本技术实施例,当ar眼镜将各个候选对象分别对应的对象属性信息显示在显示区域时,人眼会依次注视各个候选对象显示的位置,进而从各个候选对象中选择目标对象。ar眼镜通过获取用户的瞳孔位置或者用户视线可以确定用户所注视的候选对象显示的位置,进而可以判断用户的选择。而当用户的瞳孔位置和/或用户视线在某一显示位置对应的停留时间大于预设时间时,则确定显示在上述位置上的候选对象为目标对象。
103.在另一种实现方式中,为了使用户可以回顾当前场景中的精彩场面或者目标对象的某些动作,还包括:当在当前场景的多媒体信息中检测到目标对象的动作信息为特定动作信息时,执行抓拍操作,保存抓拍的多媒体信息,特定动作信息包括目标对象的特定手势动作信息和/或特定肢体动作信息。
104.具体地,ar眼镜预存目标对象的特定动作信息,例如,目标对象的特定动作包括挥手和/或直视ar眼镜的镜头,并保存特定动作的特征信息。
105.ar眼镜通过图像处理模块识别当前场景的多媒体信息中目标对象的动作特征信息,图像分析模块判断目标对象的动作特征信息是否与特定动作的特征信息一致,若一致,则目标对象的动作信息为特定动作信息。那么在活动过程中,ar眼镜抓拍得到目标对象挥手和/或直视ar眼镜的镜头的多媒体信息,并保存。并且抓拍得到的多媒体信息可作为历史多媒体信息。
106.本技术实施例还提供一种基于ar眼镜的人物识别装置,参照图2,基于ar眼镜的人物识别装置200包括:获取模块201,用于获取历史信息,历史信息包括历史多媒体信息和/或历史对象信息,历史多媒体信息为包含历史对象的多媒体信息,历史对象信息包括历史对象的人脸特征;第一确定模块202,用于基于历史信息确定候选对象,并控制显示候选对象的对象属性信息,对象属性信息包括:姓名、性别、年龄及职业;第二确定模块203,用于基于用户的选择操作,确定目标对象,并基于历史信息确定目标对象的人脸特征;控制显示模块204,用于基于目标对象的人脸特征,从当前场景下拍摄的多媒体信
息中追踪目标对象,并控制在当前场景下拍摄的多媒体信息中通过预设方式显示目标对象。
107.在另一种可能的实现方式中,第一确定模块202在基于历史信息确定候选对象时,具体用于:基于历史信息获取各个历史对象的人脸特征;获取当前场景的时间信息和位置信息;基于时间信息和位置信息获取特定多媒体信息,特定多媒体信息包括于当前场景出场的出场对象,特定多媒体信息为其他用户上传的与时间信息和位置信息相匹配的多媒体信息;基于特定多媒体信息获取出场对象的人脸特征;基于出场对象的人脸特征和历史对象的人脸特征确定候选对象,候选对象的人脸特征为出场对象的人脸特征与历史对象的人脸特征中对比一致的人脸特征。
108.在另一种可能的实现方式中,第一确定模块202在基于所述历史信息确定候选对象之后,具体用于:获取各个候选对象分别对应的对象属性信息;获取节目名单,所述节目名单包括节目顺序,各个节目分别对应的开始时间以及各个节目分别对应的出场对象;基于节目名单获取各个节目分别对应的出场对象的对象属性信息;基于所述每个节目相应的出场对象的对象属性信息和所述候选对象的对象属性信息确定每个节目相应的候选对象,所述每个节目相应的候选对象的对象属性信息为所述每个节目相应的出场对象的对象属性信息与所述候选对象的对象属性信息中对比一致的对象属性信息;其中,第一确定模块202在控制显示候选对象的对象属性信息时,具体用于:当达到各个节目分别对应的开始时间时,通过控制显示各自相应的候选对象的对象属性信息。
109.在另一种可能的实现方式中,候选对象为至少两个,第一确定模块202在控制显示候选对象的对象属性信息时,具体用于:基于各个候选对象分别对应的人脸特征,确定各个候选对象分别对应的对象属性信息;基于历史信息获得用户对各个候选对象的喜好度;根据各个候选对象的喜好度对各个候选对象进行排序;按照排序结果,控制显示各个候选对象分别对应的对象属性信息。
110.在另一种可能的实现方式中,当第一确定模块202在基于历史信息获得用户对各个候选对象的喜好度时,具体用于:基于历史对象信息确定各个候选对象被确定为目标对象的次数;基于各个候选对象被确定为目标对象的次数对各个候选对象降序排列,以获得第一排序信息;基于各个候选对象分别对应的历史多媒体信息分别获得各个候选对象分别对应的历史人物特征,任一候选对象对应的历史人物特征为任一候选对象在每个历史多媒体信
息中所对应的人物特征,历史人物特征包括服装特征以及发型特征;确定各个候选对象分别对应的历史人物特征数量,任一候选对象对应的历史人物特征数量为任一候选对象在各个历史多媒体信息中历史人物特征不同的数量,历史人物特征不同包括:服装特征以及发型特征中至少一个特征不同;基于各个候选对象分别对应的历史人物特征数量对各个候选对象降序排列,以获得第二排序信息;根据第一排序信息和第二排序信息,确定用户对候选对象的喜好度。
111.在另一种可能的实现方式中,用户的选择操作采用瞳孔识别的方式,第二确定模块203在基于用户的选择操作,确定目标对象时,具体用于:获取各个候选对象分别对应的显示位置,显示位置为在对象属性信息在显示区域的显示位置;获取用户的瞳孔位置和/或用户视线在各个显示位置分别对应的停留时间;基于用户的瞳孔位置以及用户视线在各个显示位置分别对应的停留时间中的至少一项以及各个候选对象分别对应的显示位置,确定目标对象。
112.在另一种可能的实现方式中,本装置还包括抓拍模块,抓拍模块,用于:当在当前场景的多媒体信息中检测到目标对象的动作信息为特定动作信息时,执行抓拍操作,保存抓拍的多媒体信息,特定动作信息包括目标对象的特定手势动作信息和/或特定肢体动作信息。
113.前述实施例中的方法中的各种变化方式和具体实例同样适用于本实施例的基于ar眼镜的人物确定装置,通过前述对基于ar眼镜的人物确定方法的详细描述,本领域技术人员可以清楚的知道本实施例中的基于ar眼镜的人物确定装置的实施方法,所以为了说明书的简洁,在此不再详述。
114.为了更好地实施以上方法,本技术实施例提供一种ar眼镜,参照图3,ar眼镜300包括:处理器301和存储器303。其中,处理器301和存储器303相连,如通过总线302相连。可选地,ar眼镜300还可以包括收发器304以及显示器305,显示器305通过总线302与处理器301相连。需要说明的是,实际应用中收发器304不限于一个,该ar眼镜300的结构并不构成对本技术实施例的限定。
115.处理器301可以是cpu(central processing unit,中央处理器),通用处理器,dsp(digital signal processor,数据信号处理器),asic(application specific integrated circuit,专用集成电路),fpga(field programmable gate array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器301也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,dsp和微处理器的组合等。
116.总线302可包括一通路,在上述组件之间传送信息。总线302可以是pci(peripheral component interconnect,外设部件互连标准)总线或eisa(extended industry standard architecture,扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。
117.存储器303可以是rom(read only memory,只读存储器)或可存储静态信息和指令
的其他类型的静态存储设备,ram(random access memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是eeprom(electrically erasable programmable read only memory,电可擦可编程只读存储器)、cd-rom(compact disc read only memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
118.存储器303用于存储执行本技术方案的应用程序代码,并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码,以实现前述方法实施例所示的内容。
119.显示器305可以为lcos与棱镜组合、micro oled和自由曲面技术组合、lcos/dlp和波导技术组合、lbs和全息反射薄膜中其中一种。
120.图3示出的ar眼镜仅仅是一个示例,不应对本技术实施例的功能和使用范围带来任何限制。
121.本技术实施例还提供一种计算机可读存储介质,存储有能够被处理器加载并执行如上述实施例提供的基于ar眼镜的人物确定方法的计算机程序,当用户在当前场景佩戴ar眼镜时,ar眼镜从历史信息中获取候选对象,并基于用户选择确定出目标对象,以从历史信息中获取目标对象的人脸特征,从而可以基于获取到的人脸特征,在当前场景的多媒体信息中追踪显示目标对象,从而可以快速选择确定出目标对象,并且准确地追踪显示该目标对象。
122.本实施例中,计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。具体的,计算机可读存储介质可以是便携式计算机盘、硬盘、u盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、讲台随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、光盘、磁碟、机械编码设备以及上述任意组合。
123.本实施例中的计算机程序包含用于执行前述所有的方法的程序代码,程序代码可包括对应执行上述实施例提供的方法步骤对应的指令。计算机程序可从计算机可读存储介质下载到各个计算/处理设备,或者通过网络(例如因特网、局域网、广域网和/或无线网)下载到外部计算机或外部存储设备。计算机程序可完全地在用户计算机上执行、作为一个独立的软件包执行。
124.以上均为本技术的较佳实施例,并非依此限制本技术的保护范围,故:凡依本技术的结构、形状、原理所做的等效变化,均应涵盖于本技术的保护范围之内。
125.另外,需要理解的是,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。

技术特征:
1.一种基于ar眼镜的人物确定方法,其特征在于,包括:获取历史信息,所述历史信息包括历史多媒体信息和/或历史对象信息,所述历史多媒体信息为包含历史对象的多媒体信息,所述历史对象信息包括历史对象的人脸特征;基于所述历史信息确定候选对象,并控制显示候选对象的对象属性信息,所述对象属性信息包括:姓名、性别、年龄及职业;基于用户的选择操作,确定目标对象,并基于所述历史信息确定所述目标对象的人脸特征;基于所述目标对象的人脸特征,从当前场景下拍摄的多媒体信息中追踪所述目标对象,并控制在所述当前场景下拍摄的多媒体信息中通过预设方式显示所述目标对象。2.根据权利要求1所述的方法,其特征在于, 所述基于所述历史信息确定候选对象,包括:基于所述历史信息获取各个历史对象的人脸特征;获取当前场景的时间信息和位置信息;基于所述时间信息和所述位置信息获取特定多媒体信息,所述特定多媒体信息包括于当前场景出场的出场对象,所述特定多媒体信息为其他用户上传的与所述时间信息和位置信息相匹配的多媒体信息;基于所述特定多媒体信息获取所述出场对象的人脸特征;基于所述出场对象的人脸特征和所述历史对象的人脸特征确定候选对象,候选对象的人脸特征为所述出场对象的人脸特征与所述历史对象的人脸特征中对比一致的人脸特征。3.根据权利要求2所述的方法,其特征在于,所述基于所述历史信息确定候选对象之后还包括:获取各个候选对象分别对应的对象属性信息;获取节目名单,所述节目名单包括节目顺序,各个节目分别对应的开始时间以及各个节目分别对应的出场对象;基于所述节目名单获取各个节目分别对应的出场对象的对象属性信息;基于所述每个节目相应的出场对象的对象属性信息和所述候选对象的对象属性信息确定每个节目相应的候选对象,所述每个节目相应的候选对象的对象属性信息为所述每个节目相应的出场对象的对象属性信息与所述候选对象的对象属性信息中对比一致的对象属性信息;其中,所述控制显示候选对象的对象属性信息,包括:当达到各个节目分别对应的开始时间时,通过控制显示各自相应的候选对象的对象属性信息。4.根据权利要求1或3所述的方法,其特征在于,若所述候选对象为至少两个,则,控制显示候选对象的对象属性信息,包括:基于各个候选对象分别对应的人脸特征,确定各个所述候选对象分别对应的对象属性信息;基于所述历史信息获得用户对各个候选对象的喜好度;根据所述各个候选对象的喜好度对所述各个候选对象进行排序;按照排序结果,控制显示各个候选对象分别对应的对象属性信息。
5.根据权利要求4所述的方法,其特征在于,所述基于所述历史信息获得用户对各个候选对象的喜好度,包括:基于所述历史对象信息确定所述各个候选对象被确定为目标对象的次数;基于所述各个候选对象被确定为目标对象的次数对各个候选对象降序排列,以获得第一排序信息;基于各个候选对象分别对应的历史多媒体信息分别获得各个候选对象分别对应的历史人物特征,任一候选对象对应的历史人物特征为所述任一候选对象在每个历史多媒体信息中所对应的人物特征,所述历史人物特征包括服装特征以及发型特征;确定各个候选对象分别对应的历史人物特征数量,任一候选对象对应的历史人物特征数量为所述任一候选对象在各个历史多媒体信息中历史人物特征不同的数量,所述历史人物特征不同包括:服装特征以及发型特征中至少一个特征不同;基于各个所述候选对象分别对应的历史人物特征数量对各个候选对象降序排列,以获得第二排序信息;根据所述第一排序信息和所述第二排序信息,确定用户对所述候选对象的喜好度。6.根据权利要求1所述的方法,其特征在于,所述用户的选择操作采用按键选择、触屏选择、手势选择、瞳孔识别中至少一种方式,当采用瞳孔识别方式时,所述基于用户的选择操作,确定目标对象,包括:获取所述各个候选对象分别对应的显示位置,所述显示位置为在对象属性信息在显示区域的显示位置;获取用户的瞳孔位置和/或用户视线在各个显示位置分别对应的停留时间;基于所述用户的瞳孔位置以及所述用户视线在各个显示位置分别对应的停留时间中的至少一项以及所述各个候选对象分别对应的显示位置,确定所述目标对象。7.根据权利要求1所述的方法,其特征在于,还包括:当在所述当前场景的多媒体信息中检测到目标对象的动作信息为特定动作信息时,执行抓拍操作,保存抓拍的多媒体信息,所述特定动作信息包括所述目标对象的特定手势动作信息和/或特定肢体动作信息。8.一种基于ar眼镜的人物识别装置,其特征在于,包括:获取模块,用于在接收用户的启用指令时获取历史信息,所述历史信息包括历史多媒体信息和/或历史对象信息,所述历史多媒体信息为包含历史对象的多媒体信息,所述历史对象信息包括历史对象的人脸特征;第一确定模块,用于确定候选对象,并控制显示候选对象的对象属性信息,所述对象属性信息包括:姓名、性别、年龄及职业;第二确定模块,用于基于用户的选择操作,确定目标对象,并基于所述历史信息确定所述目标对象的人脸特征;控制显示模块,用于基于所述目标对象的人脸特征,从当前场景下拍摄的多媒体信息中追踪所述目标对象,并控制在所述当前场景下拍摄的多媒体信息中通过预设方式显示所述目标对象。9.一种ar眼镜,其特征在于,包括存储器和处理器,所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至7中任一项所述的方法。

技术总结
本申请涉及一种基于AR眼镜的人物确定方法、装置、AR眼镜和介质,属于人脸识别的技术领域,方法包括:获取历史信息,历史信息包括历史多媒体信息和/或历史对象信息,历史多媒体信息为包含历史对象的多媒体信息,历史对象信息包括历史对象的人脸特征;基于历史信息确定候选对象,并控制显示候选对象的对象属性信息,对象属性信息包括:姓名、性别、年龄及职业;基于用户的选择操作,确定目标对象,并基于历史信息确定目标对象的人脸特征;基于目标对象的人脸特征,从当前场景下拍摄的多媒体信息中追踪目标对象,并控制在当前场景下拍摄的多媒体信息中通过预设方式显示目标对象。本申请具有提高确定目标人物的速度的效果。提高确定目标人物的速度的效果。提高确定目标人物的速度的效果。


技术研发人员:刘威 夏勇峰
受保护的技术使用者:北京蜂巢世纪科技有限公司
技术研发日:2021.11.27
技术公布日:2022/3/8

最新回复(0)