数据处理方法、装置、服务器及存储介质与流程

本发明涉数据处理的，尤其涉及一种数据处理方法、装置、服务器及存储介质。

背景技术：

1、由于业务系统的业务数据产生的时间不一致，业务数据通常采用逐条录入数据库的方式进行存储，随着时间推移，数据库中存储的业务数据逐渐增多，导致服务器存储压力变大。当用户查询部分指标对应的业务数据时，服务器需要对数据库中所有业务数据的所有数据指标和数据值进行遍历查找，查询压力较大。

技术实现思路

1、本发明提供一种数据处理方法、装置、服务器及存储介质，其主要目的在于提供一种减少数据库存储数据量并提高数据库查询效率的方法。

2、为实现上述目的，本发明提供一种数据处理方法，所述方法包括：

3、从数据库获取预设时间段的业务数据，从所述业务数据中提取预设业务的相关参数，所述预设业务的相关参数包括业务员编码、业务指标、指标数据量、业务场景和业务产生时间；

4、根据所述预设业务的相关参数构建关键词表，从所述业务数据中提取出所述关键词表中的每个关键词对应的业务数据记录，对每个关键词对应的所有业务数据记录进行聚合，生成以关键词为主键索引的聚合数据表；

5、将所述聚合数据表存储至所述数据库，从所述数据库中删除所述预设时间段的业务数据。

6、可选地，所述数据处理方法还包括：

7、接收客户端对所述数据库的数据查询指令，提取所述数据查询指令中的关键词字段和时间字段；

8、以所述关键词字段包含的关键词为主键索引从所述数据库存储的聚合数据表中查询出所述时间字段对应的业务数据，反馈给所述客户端。

9、可选地，所述数据处理方法还包括：

10、若从所述聚合数据表未查询到所述时间字段对应的业务数据，则判断所述时间字段对应的时间是否在所述预设时间段内；

11、若否，则根据所述关键词字段和所述时间字段从所述数据库中聚合数据表以外的业务数据中查询对应的业务数据，反馈给所述客户端。

12、可选地，所述根据所述预设业务的相关参数构建关键词表，包括：

13、获取所述预设业务的相关参数中业务指标的字段和业务场景的字段；

14、将所述业务指标的字段和所述业务场景的字段作为关键词构建关键词表。

15、可选地，在将所述业务指标的字段和所述业务场景的字段作为关键词构建关键词表之后，还包括：

16、获取所述预设业务的相关参数中业务指标的新增字段和业务场景的新增字段；

17、将所述业务指标的新增字段和所述业务场景的新增字段作为新增关键词更新至所述关键词表。

18、可选地，所述根据所述预设业务的相关参数构建关键词表，包括：

19、获取所述数据库的历史查询数据；

20、统计所述历史查询数据中各个查询字段的出现次数得到高频查询字段；

21、将属于所述预设业务的相关参数的高频查询字段作为关键词构建关键词表。

22、可选地，所述对每个关键词对应的所有业务数据记录进行聚合，生成以关键词为主键索引的聚合数据表，包括：

23、对每个关键词对应的所有业务数据记录按照业务数据产生时间进行统计得到日期和月份；

24、将业务数据产生时间相同的业务数据记录的业务员编码进行聚合得到业务员编码合集；

25、将业务数据产生时间相同的业务数据记录的业务员编码和指标数据量进行聚合得到业务数据序列；

26、根据所述关键词、所述业务员编码合集、所述业务数据序列、所述日期和所述月份，生成以所述关键词作为主键索引的聚合数据表。

27、为了解决上述问题，本发明还提供一种数据处理装置，所述数据处理装置包括：

28、数据获取模块，用于从数据库获取预设时间段的业务数据，从所述业务数据中提取预设业务的相关参数，所述预设业务的相关参数包括业务员编码、业务指标、指标数据量、业务场景和业务产生时间；

29、数据聚合模块，用于根据所述预设业务的相关参数构建关键词表，从所述业务数据中提取出所述关键词表中的每个关键词对应的业务数据记录，对每个关键词对应的所有业务数据记录进行聚合，生成以关键词为主键索引的聚合数据表；

30、数据更新模块，用于将所述聚合数据表存储至所述数据库，从所述数据库中删除所述预设时间段的业务数据。

31、为了解决上述问题，本发明还提供一种服务器，所述服务器包括：

32、至少一个处理器；以及，

33、与所述至少一个处理器通信连接的存储器；其中，

34、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的数据处理方法。

35、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的数据处理方法。

36、本发明通过将业务系统查询频率较高的业务指标和业务场景作为关键词，以关键词作为主键索引进行业务数据聚合构建聚合数据表，减少了数据查询时关键词对应的数据条数，提高了数据查询效率，聚合数据表相较于未处理的业务数据降低了存储数据量，减少了数据库所在的服务器的存储压力和查询压力，提高了服务器性能。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.如权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

3.如权利要求2所述的数据处理方法，其特征在于，所述数据处理方法还包括：

4.如权利要求1所述的数据处理方法，其特征在于，所述根据所述预设业务的相关参数构建关键词表，包括：

5.如权利要求4所述的数据处理方法，其特征在于，在将所述业务指标的字段和所述业务场景的字段作为关键词构建关键词表之后，还包括：

6.如权利要求1所述的数据处理方法，其特征在于，所述根据所述预设业务的相关参数构建关键词表，包括：

7.如权利要求1所述的数据处理方法，其特征在于，所述对每个关键词对应的所有业务数据记录进行聚合，生成以关键词为主键索引的聚合数据表，包括：

8.一种数据处理装置，其特征在于，所述数据处理装置包括：

9.一种服务器，其特征在于，所述服务器包括：

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的数据处理方法。

技术总结
本发明涉及数据处理技术领域，提供了一种数据处理方法，包括：从数据库获取预设时间段的业务数据，从业务数据中提取预设业务的相关参数；根据预设业务的相关参数构建关键词表，从业务数据中提取出关键词表中的每个关键词对应的业务数据记录，对每个关键词对应的所有业务数据记录进行聚合，生成以关键词为主键索引的聚合数据表；将聚合数据表存储至数据库，从数据库中删除预设时间段的业务数据。本发明的数据处理方法减少了数据查询时关键词对应的数据条数，提高了数据查询效率，降低了存储数据量，减少了数据库所在的服务器的存储压力和查询压力，提高了服务器性能。

技术研发人员：牛煜超
受保护的技术使用者：平安银行股份有限公司
技术研发日：
技术公布日：2024/12/5