1.本公开涉及电子技术领域,尤其涉及数据处理方法、装置、电子设备及存储介质。
背景技术:
2.在搜索系统中,考虑到用户的多维度需求,搜索结果需要满足多样性、时鲜性、相关性、权威性等多项指标。但是,站内的结构化资源通常无法满足用户前述要求。因此需要引入外部的异构数据源,通过扩充不同类型和不同来源的数据资源,以满足用户不同维度的需求。
3.相关技术中,搜索系统为了引入外部的异构数据源,通常采用的方法是将每个召回源的异构数据源打包成一个下游服务,通过在框架调用流程中嵌入调用代码,调用下游服务中的异构数据源。然而,由于现有搜索架构的各路召回是耦合在一起的,前述方法应用于多路召回时,下游服务接入搜索系统的流程复杂,导致下游服务中的异构数据源接入搜索系统相对困难。
技术实现要素:
4.本公开提供一种数据处理方法、装置、电子设备及存储介质,以至少解决相关技术中存在的多路召回时下游服务中的异构资源接入搜索系统相对困难的问题。本公开的技术方案如下:
5.根据本公开实施例的第一方面,提供一种数据处理方法,用于电子设备,包括:接收资源获取请求,资源获取请求包括搜索词;根据搜索词,确定触发的每路召回对应的目标资源库标识;不同路召回表征搜索词对应的不同召回特征向量;初始化目标资源库标识对应资源库,得到目标资源库标识对应的目标调用配置信息;根据目标调用配置信息,调用目标资源库标识对应资源库中的资源;发送目标资源库标识对应资源库中的资源,以完成对资源获取请求的处理。
6.在一种可能的实施方式中,根据搜索词,确定触发的每路召回对应的目标资源库标识,包括:根据搜索词,确定触发的每路召回;根据预设存储的每路召回与资源库标识的对应关系,确定触发的每路召回对应的目标资源库标识。
7.另一种可能的实施方式中,初始化目标资源库标识对应资源库,得到目标资源库标识对应的目标调用配置信息,包括:根据预先存储的资源库标识与构造器的对应关系,获取目标资源库标识对应的目标构造器;目标构造器用于支持对目标资源库标识对应的资源库执行初始化操作;通过目标构造器初始化目标资源库标识对应资源库,得到目标调用配置信息。
8.另一种可能的实施方式中,接收资源获取请求之前,方法还包括:创建基础类资源库,基础类资源库包括每个资源库共用的变量参数;创建目标资源库,并将目标资源库继承基础类资源库,以为目标资源库配置变量参数;获取目标资源库的目标构造器,目标构造器用于通过初始化目标资源库为变量参数赋值。
9.另一种可能的实施方式中,数据处理方法还包括:将资源库的初始化参数值写入json或hacon配置中;初始化目标资源库标识对应的资源库,包括:根据预先存储在json或hacon配置中初始化参数值,初始化目标资源库标识对应资源库,以完成对目标资源库标识对应资源库的变量参数赋值。
10.另一种可能的实施方式中,根据目标调用配置信息,调用目标资源库标识对应资源库中的资源,包括:根据目标调用配置信息,确定目标资源库标识对应资源库的远程过程调用接口标识;不同资源库对应不同的远程过程调用接口标识;通过远程过程调用接口标识对应的接口,并行调用目标资源库标识对应资源库中的资源。
11.根据本公开实施例的第二方面,提供一种数据处理装置,用于电子设备,包括:接收模块,被配置为执行接收资源获取请求,资源获取请求包括搜索词;确定模块,被配置为执行根据搜索词,确定触发的每路召回对应的目标资源库标识;不同路召回表征搜索词对应的不同召回特征向量;初始化模块,被配置为执行初始化目标资源库标识对应资源库,得到目标资源库标识对应的目标调用配置信息;目标调用配置信息包括调用目标资源库标识对应资源库的调用接口信息;调用模块,被配置为执行根据目标调用配置信息,调用目标资源库标识对应资源库中的资源;发送模块,被配置为执行发送目标资源库标识对应资源库中的资源,以完成对资源获取请求的处理。
12.在一种可能的实施方式中,确定模块具体被配置为执行:根据搜索词,确定触发的每路召回;根据预设存储的每路召回与资源库标识的对应关系,确定触发的每路召回对应的目标资源库标识。
13.另一种可能的实施方式中,初始化模块具体被配置为执行:根据预先存储的资源库标识与构造器的对应关系,获取目标资源库标识对应的目标构造器;目标构造器用于支持对目标资源库标识对应的资源库执行初始化操作;通过目标构造器初始化目标资源库标识对应资源库,得到目标调用配置信息。
14.另一种可能的实施方式中,装置还包括创建模块,被配置为执行:创建基础类资源库,基础类资源库包括每个资源库共用的变量参数;创建目标资源库,并将目标资源库继承基础类资源库,以为目标资源库配置变量参数;获取目标资源库的目标构造器,目标构造器用于通过初始化目标资源库为变量参数赋值。
15.另一种可能的实施方式中,初始化模块具体被配置为执行:将资源库的初始化参数值写入json或hacon配置中;根据预先存储在json或hacon配置中初始化参数值,初始化目标资源库标识对应资源库,以完成对目标资源库标识对应资源库的变量参数赋值。
16.另一种可能的实施方式中,调用模块具体被配置为执行:根据目标调用配置信息,确定目标资源库标识对应资源库的远程过程调用接口标识;不同资源库对应不同的远程过程调用接口标识;通过远程过程调用接口标识对应的接口,并行调用目标资源库标识对应资源库中的资源。
17.根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现上述第一方面及其任一种可能的实施方式的数据处理方法。
18.根据本公开实施例的第四方面,提供一种计算机可读存储介质,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述第一方面中及其
任一种可能的实施方式的数据处理方法。
19.根据本公开实施例的第五方面,提供一种计算机程序产品,计算机程序产品包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述第一方面及其任一种可能的实施方式的数据处理方法。
20.本公开的实施例提供的技术方案至少带来以下有益效果:通过在接收到客户端的资源获取请求后,根据资源获取请求中的搜索词确定每路召回对应的目标资源库标识,并通过初始化目标资源库标识对应的资源库得到目标调用配置信息,从而根据目标调用配置信息调用目标资源库标识对应资源库中资源的,进而能够将资源调用逻辑从框架调用流程中进行剥离出来,以及将每路召回解耦合,从而实现独立进行每路召回的资源接入搜索系统,降低了并发召回的难度,并实现了仅根据目标资源库标识即可将每路召回对应的资源接入搜索系统,简化了多路召回时资源接入搜索系统的流程,实现了资源快速接入搜索系统的目的,进而提高了搜索系统接入多路召回资源的效率,解决了现有搜索系统多路召回资源接入困难的问题。
21.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
22.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
23.图1是根据一示例性实施例示出的一种数据处理方法的流程图;
24.图2是根据一示例性实施例示出的另一种数据处理方法的流程图;
25.图3是根据一示例性实施例示出的另一种数据处理方法的流程图;
26.图4是根据一示例性实施例示出的另一种数据处理方法的流程图;
27.图5是根据一示例性实施例示出的一种数据处理装置的框图;
28.图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
29.为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
30.需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
31.在对本公开提供的信息处理方法进行详细介绍之前,先对本公开涉及的应用场景、实施环境和相关要素进行简单介绍。
32.首先,对本公开涉及的应用场景进行简单介绍。
33.在搜索系统中,考虑到用户的多维度需求,搜索结果需要满足多样性、时鲜性、相
关性、权威性等多项指标。但是,站内的结构化资源通常无法满足用户前述要求。因此需要引入外部的异构数据源,通过扩充不同类型和不同来源的数据资源,以满足用户不同维度的需求。
34.传统召回方法通常是利用倒排索引进行召回,需要使用者将数据预先处理成预定的格式才能存入资源库。例如,通过默认字段将缺失的字段补齐,从而将非结构化数据快速转化为结构化数据,全部通过倒排索引召回。但是随着互联网的发展,越来越多的异构数据源被引入,这些数据(topic/tag、nn产生的embedding向量等不同的异构数据)通常难以整理成传统的结构化数据,或者需要花费大量的精力和时间才能整理成所需的数据格式。并且,传统召回方法在召回阶段只能使用倒排索引作为召回基础,无法有效支持embedding的召回。目前通用搜索系统大体是基于倒排库+redis+ann的模式进行构建召回逻辑,只使用倒排索引无法满足搜索系统的需求。
35.现有技术中,为了解决传统召回方法存在的问题,并满足搜索系统引入外部的异构数据源的需求,采用的方法是将每个召回源的异构数据源打包成一个下游服务,通过在框架调用流程中嵌入调用代码,调用下游服务中的异构数据源。然而,由于现有搜索架构的各路召回是耦合在一起的,前述方法应用于多路召回时,下游服务接入搜索系统的流程复杂,导致下游服务中的异构数据源接入搜索系统相对困难。
36.针对上述问题,本公开提供了一种数据处理方法,通过在接收到客户端的资源获取请求后,根据资源获取请求中的搜索词确定每路召回对应的目标资源库标识,并通过初始化目标资源库标识对应的资源库得到目标调用配置信息,从而根据目标调用配置信息调用目标资源库标识对应资源库中资源的,进而能够将资源调用逻辑从框架调用流程中进行剥离出来,以及将每路召回解耦合,从而实现独立进行每路召回的资源接入搜索系统,降低了并发召回的难度,并实现了仅根据目标资源库标识即可将每路召回对应的资源接入搜索系统,简化了多路召回时资源接入搜索系统的流程,实现了资源快速接入搜索系统的目的,进而提高了搜索系统接入多路召回资源的效率,解决了现有搜索系统多路召回资源接入困难的问题。
37.其次,下面对本公开涉及的实施环境(实施架构)进行简单介绍。
38.本公开实施例提供的数据处理方法可以应用于电子设备。电子设备可以是终端设备或服务器。其中,终端设备可以是智能手机、平板电脑、掌上电脑、车载终端、台式电脑以及笔记本电脑等。服务器可以是任意一个服务器或服务器集群,本公开对此不做限定。
39.再次,为了便于理解本技术,现对本技术涉及到的相关要素进行描述。
40.异构数据源(disparate data source):广义上讲是指数据结构、存取方式、形式不一样的多个数据源。如,在一个系统中,同时包含由关系型数据库oracle/sql server/mysql、excel文件或txt文本数据、xml数据等不同的数据源的一个整体,就是一个异构数据源。
41.召回:利用索引对资源库中的资源进行初筛的过程,称之为召回。
42.结构化数据:是高度组织和整齐格式化的数据。典型的结构化数据包括:信用卡号码、日期、财务金额、电话号码、地址、产品名称等。一些媒体视频、email等属于非结构化的数据。
43.为了便于理解,以下结合附图对本公开提供的任务处理方法进行具体介绍。
44.图1是根据一示例性实施例示出的一种数据处理方法的流程图,用于电子设备。如图1所示,该数据处理方法包括以下s101-s105。
45.在s101中,接收发送的资源获取请求,资源获取请求包括搜索词。
46.在一种实施方式中,用户在客户端的搜索框内输入搜索词后,客户端通过终端设备向电子设备发送资源获取请求,资源获取请求包括用户输入的搜索词。
47.示例性的,终端设备可以是智能手机、平板电脑、掌上电脑、车载终端、台式电脑以及笔记本电脑等。
48.可以理解的,资源获取请求用于请求电子设备获取与搜索词表征的内容对应的数据资源。
49.在一种实施方式中,客户端可以是安装在终端设备上的搜索系统,或者,还可以是其他具有搜索功能的应用程序。本技术对此不做限制。
50.在一种实施方式中,用户可以使用文字、图片、音频表征搜索词,本技术对此不做限制。
51.在s102中,根据搜索词,确定触发的每路召回对应的目标资源库标识。
52.其中,不同路召回表征搜索词对应的不同召回特征向量。例如,第一路召回表征搜索词对应的第一召回特征向量,第二召回表征搜索词对应的第二召回特征向量。以搜索词“传奇”为例进行说明,搜索词“传奇”对应两个召回特征向量,第一个是“歌曲传奇”,第二个是“游戏传奇”,此时,确定触发的第一路召回表征第一个召回特征向量(即“歌曲传奇”),触发的第二路召回表征第二个召回特征向量(即“游戏传奇”)。
53.在一种可能的实施方式中,根据搜索词,确定触发的每路召回对应的目标资源库标识,包括:
54.步骤一:根据搜索词,确定触发的每路召回。
55.可选地,电子设备可以根据预先存储搜索词与召回模式标识的对应关系,确定搜索词触发的每路召回。例如,用户输入搜索词“手机”,触发的其中一路召回(normal query search),该路召回(normal query search)对应的目标资源库标识包括:es、倒排库1、倒排库2、kv1、kv2。
56.在一种实施方式中,电子设备接收到获取请求后,先对搜索词进行分析,确定用户的至少一个搜索意图,例如,搜索词是“传奇”时,至少对应两个意图,其中一个意图是“歌曲传奇”,另一个意图是“游戏传奇”,进而确定至少一个搜索意图中每个搜索意图触发的每路召回。例如,可以根据搜索意图与召回模式标识的对应关系,确定搜索意图触发的每路召回。在一个示例中,对搜索词进行分析,包括对搜索词进行预处理。例如,将搜索词中的繁体字转换为简体字、大写字母转换为小写字母等。进一步地,对搜索词进行分析,还可以包括对搜索词进行改写。例如,将搜索词中的“中行”改写成“中国银行”。进一步地,对搜索词进行改写还可以是获取搜索词的同义词。例如,可以通过触发词典进行前缀匹配、拼音、拼音前缀、纠错操作,以获取到搜索词的同义词。
57.需要说明的时,对搜索词进行改写的目的是,是为了明确搜索词的准确含义,进而确定搜索意图。
58.在一种实施方式中,每个搜索意图对应一路召回。也即,多个搜索意图对应多路召回。
procedure call,rpc)接口信息。电子设备根据调用接口信息,调用目标资源库标识对应资源库中的资源。
77.在s105中,发送目标资源库标识对应资源库中的资源,以完成对资源获取请求的处理。
78.在一种实施方式中,电子设备在调用到目标资源库标识对应资源库中的资源后,将该资源发送给客户端,以完成对资源获取请求的处理。进一步地,客户端显示目标资源库标识对应资源库中的资源对应的内容信息。
79.上述实施例中,通过在接收到客户端的资源获取请求后,根据资源获取请求中的搜索词确定每路召回对应的目标资源库标识,并通过初始化目标资源库标识对应的资源库得到目标调用配置信息,从而根据目标调用配置信息调用目标资源库标识对应资源库中资源的,进而能够将资源调用逻辑从框架调用流程中进行剥离出来,以及将每路召回解耦合,从而实现独立进行每路召回的资源接入搜索系统,降低了并发召回的难度,并实现了仅根据目标资源库标识即可将每路召回对应的资源接入搜索系统,简化了多路召回时资源接入搜索系统的流程,实现了资源快速接入搜索系统的目的,进而提高了搜索系统接入多路召回资源的效率,解决了现有搜索系统多路召回资源接入困难的问题。
80.在一种可能的实施方式中,结合图1,如图2所示,s103包括103a-s103b。
81.在s103a中,根据预先存储的资源库标识与构造器的对应关系,获取目标资源库标识对应的目标构造器。
82.其中,目标构造器用于支持对目标资源库标识对应的资源库执行初始化操作。
83.可选地,电子设备中预先部署有注册管理器和构造器。构造器用于支持对目标资源库标识对应的资源库执行初始化操作。
84.在一种实施方式中,注册管理器用于保存资源库标识和构造器。其中,资源库标识和构造器一一对应,例如,第一资源库的资源库标识和第一资源库的构造器关联存储在注册管理器中。在此基础上,向注册管理器输入目标资源库标识,可以获取目标资源库标识对应资源库的构造器。
85.在一种实施方式中,注册管理器是基于map数据结构构建的,并预先部署在电子设备中。例如,可以利用设计模式中的抽象工厂模式,构建基于map数据结构的注册管理器。
86.需要说明的,抽象工厂模式(abstract factory)能够提供一个创建一系列相关或相互依赖对象的接口,而无需指定他们具体的类。
87.在s103b中,通过目标构造器初始化目标资源库标识对应的资源库,得到目标调用配置信息。
88.可选地,在得到目标构造器后,电子设备调用构造器,构造器根据目标资源标识构建目标资源库标识对应的资源库。
89.在一种实施方式中,构造器将预先存储初始化参数值赋值给资源库的初始化参数,以实现对目标资源库标识对应资源库的初始化操作。
90.在另一种实施方式中,电子设备将预先存储初始化参数值,赋值给构造器构建的资源库的初始化参数,以实现对目标资源库标识对应的资源库的初始化操作。
91.上述实施例中,通过预先存储的资源库标识与构造器的对应关系,获取目标资源库标识对应的目标构造器,并通过目标构造器初始化目标资源库标识对应的资源库,以实
现目标资源库标识对应资源库的构建,从而得到目标资源库标识对应资源库的目标调用配置信息。通过目标资源库标识获取资源库的目标调用配置信息,将资源库的调用配置代码从框架调用流程中进行剥离,实现了每路召回独立进行,简化了多路召回时资源接入搜索系统的流程,实现了资源快速接入搜索系统的目的,进而提高了搜索系统接入多路召回资源的效率,解决了现有搜索系统多路召回资源接入困难的问题。此外,还能够减少了资源库增加时对框架调用层面的改动,降低了开发成本。
92.在一种可能的实施方式中,结合图2,如图3所示,在s101之前,数据处理方法还包括s106-s109,该数据处理方法用于电子设备。
93.在s106中,创建基础类资源库,基础类资源库包括每个资源库共用的变量参数。
94.在一种实施方式中,变量参数包括基础变量参数和公用接口参数。其中,基础变量参数可以重新赋值。公用接口参数可以重新改写。
95.示例性的,基础变量参数包括:资源库rpc服务名称、资源库名称、资源库类型(倒排、kv等)、资源库需要召回的结果数量、资源库是否支持abtest实验、资源库是否支持缓存、缓存超时时间中的一个或多个。
96.示例性的,公用接口参数包括:初始化请求参数、请求资源库设置超时时间等选项、调用下游资源库、等待和接收请求、自定义参数处理、获取下游返回的结果集合、获取缓存结果、获取缓存状态、获取资源库类型、获取资源库名称中的一个或多个。
97.在一种实施方式中,可以通过调用资源库的初始化请求参数,实现构造器对资源库的初始化操作,也即,将预先确定的初始化参数值赋值给基础变量参数。
98.在一种实施方式中,可以对公用接口参数进行单元化封装,以支持cache、任意数量的abtest实验、不同资源类型的召回、不同retrival结果任意组合合并等。
99.在一种实施方式中,基础类资源库可以提供流程接口,后续创建的资源库可以通过该流程接口调用基础类资源库配置的变量参数。
100.在s107中,创建目标资源库,并将目标资源库继承基础类资源库,以为目标资源库配置变量参数。
101.在一种实施方式中,创建目标资源库包括:确定目标资源库的目标资源库标识。其中,资源库与资源库的标识之间具有一一对应的关系,也即,资源库的标识表征唯一的资源库。
102.在一种实施方式中,将目标资源库与基础类资源库提供的流程接口连接,并通过该接口调用基础类资源库中的变量参数。
103.示例性的,可以通过宏定义的方式,实现目标资源库继承基础类资源库。
104.在一种实施方式中,在目标资源库继承基础类资源库后,可以对基础变量参数进行重新赋值,并对公用接口函数进行改写。
105.可选地,目标资源库可以是倒排资源库、ann资源库或kv资源库中的任一种。
106.在s108中,获取目标资源库的目标构造器,目标构造器用于通过初始化目标资源库为变量参数赋值。
107.可选地,利用抽象工厂模块创建目标资源库的目标构造器。具体地,抽象工厂模块根据目标资源库标识配置目标资源库的构造器。
108.在一种实施方式种,目标构造器用于根据目标资源库标识生成对应的目标资源
库。例如,目标构造器获取目标资源库标识对应的初始化参数值,并将初始化参数值赋值给目标资源库的基础变量参数,以实现生成目标资源库标识对应的目标资源库。
109.可选地,获取目标资源库对应的软件包,并对软件包进行编译解析,以构建目标资源库对应的抽象工厂模块。
110.在一种实施方式中,目标资源库对应的软件包可以根据目标资源库的目标资源库标识确定。资源库的标识与软件包具有一一对应关系。
111.在一种实施方式中,获取目标资源库对应的软件包可以从电子设备的本地缓存中获取。
112.在另一种实施方式中,获取目标资源库对应的软件包可以从其他设备中获取。该其他设备与电子设备之间通过网络连接。
113.在s109中,存储目标资源库的目标资源库标识和目标资源库的目标构造器。
114.可选地,将目标资源库标识和目标构造器注册到注册管理器。
115.在一种实施方式中,通过将目标资源库标识和目标构造器注册到注册管理器,实现注册管理器根据资源库标识获取到资源库标识对应资源库的构造器。
116.上述实施例中,通过创建基础类资源库,由基础类资源库提供每个目标资源库共用的变量参数,在创建目标资源库时,只需继承基础类资源库后修改对应的变量参数即完成目标资源库的生成,目标资源库的增删都可以通过修改变量参数进行实现,而不需要修改代码,实现了快速创建目标资源库,有效降低了增加目标资源库的成本。
117.在一种可能的实施方式中,数据处理方法还包括:将资源库的初始化参数值写入json或hacon配置中。其中,初始化参数值用于表征基础变量参数的值。
118.可选地,电子设备在确定目标资源库的初始化参数值后,并将初始化参数值写入目标资源库标识对应的配置模块,例如,json或hacon配置模块中。
119.在一种实施方式中,初始化参数值可以做成json/hacon等配置的可自由插拔的模式。
120.在一种实施方式中,初始化参数值包括基础变量参数的值。
121.在一种实施方式中,初始化参数值用于目标构造器初始化目标资源库标识对应资源库时使用。
122.可选地,初始化目标资源库标识对应的资源库,包括:根据预先存储在json或hacon配置中初始化参数值,初始化目标资源库标识对应资源库,以完成对目标资源库标识对应资源库的变量参数赋值。
123.在一种实施方式中,电子设备根据预先存储在json或hacon配置中初始化参数值,初始化目标资源库标识对应资源库。
124.在另一种实施方式中,目标构造器根据预先存储在json或hacon配置中初始化参数值,初始化目标资源库标识对应资源库。
125.上述实施例中,通过预先将初始化参数值写入json或hacon配置中,以初始化目标资源库标识对应资源库时使用,从而提高目标资源库的接入搜索系统的速度,解决现有技术中的传统搜索系统接入召回资源较慢的问题。
126.在一种可能的实施方式中,结合图1,如图4所示,s104包括s104a-s104b。
127.在s104a中,根据目标调用配置信息,确定目标资源库标识对应资源库的远程过程
调用接口标识。
128.其中,不同资源库对应不同的远程过程调用接口标识;
129.在一种实施方式中,调用配置信息包括基础变量参数。
130.示例性的,远程过程调用接口标识可以根据资源库rpc服务名称确定。
131.在s104b中,通过远程过程调用接口标识对应的接口,并行调用目标资源库标识对应资源库中的资源。
132.在一种实施方式中,由于不同资源库对应不同的远程过程调用接口标识,可以串行或并行调用资源库中的资源。
133.在一种实施方式中,可以利用调用框架通过远程过程调用接口标识对应的接口,并行调用目标资源库标识对应资源库中的资源。
134.上述实施例中,通过资源库的远程过程调用接口标识对应的接口,调用资源库中的资源时,由于不同的资源库对应不同的远程过程调用接口标识,因此,可以并发进行多队列的处理,以实现并行调用不同资源库的资源,进而实现资源库中的资源快速接入搜索框架的目的,解决现有技术中召回的资源接入搜索系统相对困难的问题。
135.上述主要从方法的角度对本技术实施例提供的方案进行了介绍。为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
136.本公开实施例还提供一种数据处理装置。
137.图5是根据一示例性实施例示出的一种数据处理装置框图。参照图5,该装置包括接收模块501、确定模块502、初始化模块503、调用模块504和发送模块505。
138.该接收模块501被配置为执行接收资源获取请求,资源获取请求包括搜索词。例如,结合图1,接收模块501可以用于执行s101。
139.该确定模块502被配置为执行根据搜索词,确定触发的每路召回对应的目标资源库标识;不同路召回表征搜索词对应的不同召回特征向量。例如,结合图1,确定模块502可以用于执行s102。
140.该初始化模块503被配置为执行初始化目标资源库标识对应资源库,得到目标资源库标识对应的目标调用配置信息。例如,结合图1,初始化模块503可以用于执行s103。该调用模块504被配置为执行根据目标调用配置信息,调用目标资源库标识对应资源库中的资源。例如,结合图1,调用模块504可以用于执行s104。
141.该发送模块505被配置为执行发送目标资源库标识对应资源库中的资源,以完成对资源获取请求的处理。例如,结合图1,发送模块505可以用于执行s105。
142.在一种可能的实施方式中,确定模块502具体被配置为执行:根据搜索词,确定触发的每路召回;根据预设存储的每路召回与资源库标识的对应关系,确定触发的每路召回对应的目标资源库标识。
143.另一种可能的实施方式中,初始化模块503具体被配置为执行:根据预先存储的资源库标识与构造器的对应关系,获取目标资源库标识对应的目标构造器;目标构造器用于
支持对目标资源库标识对应的资源库执行初始化操作;通过目标构造器初始化目标资源库标识对应资源库,得到目标调用配置信息。例如,结合图2,初始化模块503可以用于执行s103a-s103b。
144.另一种可能的实施方式中,装置还包括创建模块,被配置为执行:创建基础类资源库,基础类资源库包括每个资源库共用的变量参数;创建目标资源库,并将目标资源库继承基础类资源库,以为目标资源库配置变量参数;获取目标资源库的目标构造器,目标构造器用于通过初始化目标资源库为变量参数赋值。例如,结合图3,创建模块可以用于执行s106-s110。
145.另一种可能的实施方式中,初始化模块503具体被配置为执行:将资源库的初始化参数值写入json或hacon配置中;根据预先存储在述json或hacon配置中初始化参数值,初始化目标资源库标识对应资源库,以完成对目标资源库标识对应资源库的变量参数赋值。
146.另一种可能的实施方式中,调用模块504具体被配置为执行:根据目标调用配置信息,确定目标资源库标识对应资源库的远程过程调用接口标识;不同资源库对应不同的远程过程调用接口标识;通过远程过程调用接口标识对应的接口,并行调用目标资源库标识对应资源库中的资源。例如,结合图4,调用模块504可以用于执行s104a-s104b。
147.关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
148.图6是根据一示例性实施例示出的一种用于电子设备600的框图。如图6所示,电子设备600包括但不限于:处理器601和存储器602。
149.其中,上述的存储器602,用于存储上述处理器601的可执行指令。可以理解的是,上述处理器601被配置为执行指令,以实现上述实施例图1至图4中任一项所示的数据处理方法。
150.需要说明的是,本领域技术人员可以理解,图6中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图6所示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
151.处理器601是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器601可包括一个或多个处理单元;可选的,处理器601可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器601中。
152.存储器602可用于存储软件程序以及各种数据。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能模块所需的应用程序(比如接收模块501、确定模块502、初始化模块503、调用模块504或发送模块505等)等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
153.在实际实现时,参见图5,上述接收模块501、确定模块502、初始化模块503、调用模块504和发送模块505的处理功能均可以由图6中的处理器601调用存储器602中存储的计算机程序实现。其具体的执行过程可以参考图1至图4中任一项所示的数据处理方法部分的描
述,这里不再赘述。
154.在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器602,上述指令可由电子设备600的处理器601执行以实现上述实施例图1至图4中任一项所示的数据处理方法。
155.可选地,计算机可读存储介质可以是非临时性计算机可读存储介质,例如,该非临时性计算机可读存储介质可以是只读存储器(read-only memory,rom)、随机存储器(random access memory,ram)、cd-rom、磁带、软盘和光数据存储设备等。
156.在示例性实施例中,本公开实施例还提供一种计算机程序产品,包括计算机指令,当计算机指令在电子设备600的处理器601上运行时,使得电子设备执行上述实施例图1至图4中任一项所示的数据处理方法。
157.需要说明的是,上述计算机可读存储介质中的指令或计算机程序产品中计算机指令被电子设备600的处理器601执行时实现上述数据处理方法实施例的各个过程,且能达到与上述数据处理方法步骤101-步骤105相同的技术效果,为避免重复,这里不再赘述。
158.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
159.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
技术特征:
1.一种数据处理方法,用于电子设备,其特征在于,包括:接收资源获取请求,所述资源获取请求包括搜索词;根据所述搜索词,确定触发的每路召回对应的目标资源库标识;不同路召回表征所述搜索词对应的不同召回特征向量;初始化所述目标资源库标识对应资源库,得到所述目标资源库标识对应的目标调用配置信息;根据所述目标调用配置信息,调用所述目标资源库标识对应资源库中的资源;发送所述目标资源库标识对应资源库中的资源,以完成对所述资源获取请求的处理。2.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述搜索词,确定触发的每路召回对应的目标资源库标识,包括:根据所述搜索词,确定触发的每路召回;根据预设存储的每路召回与资源库标识的对应关系,确定所述触发的每路召回对应的目标资源库标识。3.根据权利要求2所述的数据处理方法,其特征在于,所述初始化目标资源库标识对应资源库,得到所述目标资源库标识对应的目标调用配置信息,包括:根据预先存储的资源库标识与构造器的对应关系,获取目标资源库标识对应的目标构造器;所述目标构造器用于支持对所述目标资源库标识对应的资源库执行初始化操作;通过所述目标构造器初始化所述目标资源库标识对应资源库,得到所述目标调用配置信息。4.根据权利要求3所述的数据处理方法,其特征在于,所述接收资源获取请求之前,所述方法还包括:创建基础类资源库,所述基础类资源库包括每个资源库共用的变量参数;创建目标资源库,并将所述目标资源库继承所述基础类资源库,以为所述目标资源库配置所述变量参数;获取所述目标资源库的目标构造器,所述目标构造器用于通过初始化所述目标资源库为所述变量参数赋值;存储所述目标资源库的目标资源库标识和所述目标资源库的目标构造器。5.根据权利要求4所述的数据处理方法,其特征在于,所述数据处理方法还包括:将所述资源库的初始化参数值写入json或hacon配置中;所述初始化目标资源库标识对应的资源库,包括:根据预先存储在所述json或hacon配置中初始化参数值,初始化所述目标资源库标识对应资源库,以完成对所述目标资源库标识对应资源库的变量参数赋值。6.根据权利要求1-5中任一项所述的数据处理方法,其特征在于,根据所述目标调用配置信息,调用所述目标资源库标识对应资源库中的资源,包括:根据所述目标调用配置信息,确定所述目标资源库标识对应资源库的远程过程调用接口标识;不同资源库对应不同的远程过程调用接口标识;通过所述远程过程调用接口标识对应的接口,并行调用所述目标资源库标识对应资源库中的资源。7.一种数据处理装置,用于电子设备,其特征在于,包括:
接收模块,被配置为执行接收资源获取请求,所述资源获取请求包括搜索词;确定模块,被配置为执行根据所述搜索词,确定触发的每路召回对应的目标资源库标识;不同路召回表征所述搜索词对应的不同召回特征向量;初始化模块,被配置为执行初始化所述目标资源库标识对应资源库,得到所述目标资源库标识对应的目标调用配置信息;调用模块,被配置为执行根据所述目标调用配置信息,调用所述目标资源库标识对应资源库中的资源;发送模块,被配置为执行发送所述目标资源库标识对应资源库中的资源,以完成对所述资源获取请求的处理。8.根据权利要求7所述的数据处理装置,其特征在于,所述确定模块具体被配置为执行:根据所述搜索词,确定触发的每路召回;根据预设存储的每路召回与资源库标识的对应关系,确定所述触发的每路召回对应的目标资源库标识。9.一种电子设备,其特征在于,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6中任一项所述的数据处理方法。10.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至6中任一项所述的数据处理方法。
技术总结
本公开关于一种数据处理方法、装置、电子设备及存储介质,涉及电子技术领域。该方法包括:接收资源获取请求,资源获取请求包括搜索词;根据搜索词,确定触发的每路召回对应的目标资源库标识;不同路召回表征搜索词对应的不同召回特征向量;初始化目标资源库标识对应资源库,得到目标资源库标识对应的目标调用配置信息;目标调用配置信息包括调用目标资源库标识对应资源库的调用接口信息;根据目标调用配置信息,调用目标资源库标识对应资源库中的资源;发送目标资源库标识对应资源库中的资源,以完成对资源获取请求的处理。以完成对资源获取请求的处理。以完成对资源获取请求的处理。
技术研发人员:蔡子夕 龚伟坚
受保护的技术使用者:北京达佳互联信息技术有限公司
技术研发日:2021.11.12
技术公布日:2022/3/8