业务数据的处理方法和装置、电子设备及存储介质与流程

本申请涉及金融科技，尤其涉及一种业务数据的处理方法和装置、电子设备及存储介质。

背景技术：

1、在金融科技技术领域，往往涉及大量数据的存储和分析，此时常常采用数据仓库进行数据的存储和分析以实现批量数据的处理。但是数据仓无法基于关系模型对数据进行管理。此时，当金融业务涉及如短信业务等需要结合如片区、用户群体等关系模型进行不同业务场景下的数据分析时，会导致数据的分析链路长，分析效率低。且在数据分析出现异常情况时，难以定位导致异常情况的数据来源。因此，如何缩短各业务场景下对大批量数据分析的分析链路，以提升分析效率以及异常分析结果的定位效率是一个亟待解决的技术问题。

技术实现思路

1、本申请实施例的主要目的在于提出一种业务数据的处理方法和装置、电子设备及存储介质，旨在缩短各业务场景下对大批量数据分析的分析链路，以提升分析效率以及异常分析结果的定位效率。

2、为实现上述目的，本申请实施例的第一方面提出了一种业务数据的处理方法，所述方法包括：

3、从预设的关系型数据库同步第一业务数据表及从预设的数据仓库同步第二业务数据表；

4、响应于第一业务请求，根据所述第一业务数据表的数据表格式创建所述第二业务数据表的外表，得到第一数据库外表，并根据所述第一数据库外表和所述第一业务数据表进行第一业务分析处理，输出第一处理结果；

5、响应于第二业务请求，根据所述第二业务数据表的数据表格式创建所述第一业务数据表的外表，得到第二数据库外表，并根据所述第二数据库外表和所述第一业务数据表进行第二业务分析处理，输出第二处理结果。

6、在一些实施例，所述从预设的关系型数据库同步第一业务数据表，包括：

7、响应于数据库链接更改请求，将已配置的数据库地址更新为所述数据库链接更改请求中的链接地址；

8、获取预设的数据库同步逻辑文件，根据所述数据库同步逻辑文件和所述更新后的数据库地址，从所述关系型数据库同步第一业务表。

9、在一些实施例，所述数据仓库为hive数据库，所述第二业务数据表包括应用数据表以及主题汇总数据表；所述从预设的数据仓库同步第二业务数据表，包括：

10、从所述hive数据库的数据应用层读取应用数据表；

11、从所述hive数据库的数据服务层读取主题汇总数据表。

12、在一些实施例，所述方法还包括：

13、获取实时数据读取周期；

14、根据所述实时数据读取周期从预设的kafka服务器获取原始业务数据；

15、将满足预设实时处理条件的原始业务数据保留，得到实时业务数据；

16、响应于第三业务请求，将所述实时业务数据与所述第二业务数据表进行第三业务分析数据，输出第三处理结果。

17、在一些实施例，从预设的数据仓库同步第二业务数据表之后，所述方法还包括：

18、基于所述第二业务数据表和第一业务数据表，创建星型数据模型；

19、响应于第四业务请求，根据所述星型数据模型输出第四处理结果。

20、在一些实施例，从预设的数据仓库同步第二业务数据表之后，所述方法还包括：

21、根据历史业务请求，确定出请求发起频次满足预设高频请求条件的第四业务请求；

22、根据所述第四业务请求，生成物化视图；

23、根据所述物化视图和所述星型数据模型，预先计算得到所述第四业务请求对应的第四处理结果；

24、所述响应于第四业务请求，根据所述星型数据模型输出第四处理结果，包括：

25、响应于第四业务请求，输出预先计算得到的所述第四处理结果。

26、在一些实施例，在输出第一处理结果之后，所述方法还包括：

27、与预设的可视工具平台建立通信链路；

28、通过所述通信链路向所述可视工具平台发送所述第一处理结果和/或第二处理结果。

29、为实现上述目的，本申请实施例的第二方面提出了一种业务数据处理装置，所述装置包括：

30、获取模块，用于从预设的关系型数据库同步第一业务数据表及从预设的数据仓库同步第二业务数据表；

31、第一处理模块，用于响应于第一业务请求，根据所述第一业务数据表的数据表格式创建所述第二业务数据表的外表，得到第一数据库外表，并根据所述第一数据库外表和所述第一业务数据表进行第一业务分析处理，输出第一处理结果；

32、第二处理模块，用于响应于第二业务请求，根据所述第二业务数据表的数据表格式创建所述第一业务数据表的外表，得到第二数据库外表，并根据所述第二数据库外表和所述第一业务数据表进行第二业务分析处理，输出第二处理结果。

33、为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

34、为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

35、本申请提出的业务数据的处理方法和装置、电子设备及存储介质,其通过将关系型数据库的第一业务数据表以及数据仓库的第二业务数据表进行同步，使得在同一个平台可以同时获取第一业务数据表和第二业务数据表，且通过对第一业务数据表创建外表、第二业务数据表创建外表的方式，使得不同格式的第一业务数据表和第二业务数据表可以融合处理，从而可以在同一个平台实现对不同业务场景下的数据分析，数据分析链路更短。且第二业务数据表为经数据仓库处理后的，从而在改变现有业务场景数据源存储的情况下满足批量数据处理效率的同时数据分析链路更短。因此，本申请实施例能缩短各业务场景下对大批量数据分析的分析链路，以提升分析效率以及定位数据的来源的定位效率。

技术特征：

1.一种业务数据的处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的业务数据的处理方法，其特征在于，所述从预设的关系型数据库同步第一业务数据表，包括：

3.根据权利要求1所述的业务数据的处理方法，其特征在于，所述数据仓库为hive数据库，所述第二业务数据表包括应用数据表以及主题汇总数据表；所述从预设的数据仓库同步第二业务数据表，包括：

4.根据权利要求1所述的业务数据的处理方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的业务数据的处理方法，其特征在于，从预设的数据仓库同步第二业务数据表之后，所述方法还包括：

6.根据权利要求5所述的业务数据的处理方法，其特征在于，从预设的数据仓库同步第二业务数据表之后，所述方法还包括：

7.根据权利要求1所述的业务数据的处理方法，其特征在于，在输出第一处理结果之后，所述方法还包括：

8.一种业务数据处理装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的业务数据的处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的业务数据的处理方法。

技术总结
本申请实施例提供了一种业务数据的处理方法和装置、电子设备及存储介质，属于金融科技技术领域。该方法包括：从关系型数据库同步第一业务数据表及从数据仓库同步第二业务数据表；响应于第一业务请求，根据第一业务数据表创建第二业务数据表的外表，得到第一数据库外表，根据第一数据库外表和第一业务数据表进行第一业务分析处理，输出第一处理结果；响应于第二业务请求，根据第二业务数据表创建第一业务数据表的外表，得到第二数据库外表，根据第二数据库外表和第一业务数据表进行第二业务分析处理，输出第二处理结果。本申请实施例能缩短复杂场景下对大批量数据分析的分析链路，提升分析效率以及异常分析结果的定位效率。

技术研发人员：罗蒙
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：
技术公布日：2024/12/5