应用于数据中台构建的数据处理方法及系统与流程

本技术涉及计算机，具体而言，涉及一种应用于数据中台构建的数据处理方法及系统。

背景技术：

1、随着信息技术的迅猛发展，数据中台作为企业数据管理和服务的重要枢纽，其安全性问题日益凸显。网络入侵行为对数据中台的安全构成了严重威胁，因此，如何有效地检测和防御网络入侵成为了亟待解决的问题。

2、在传统的网络入侵检测与防御方法中，主要依赖于静态的规则库和签名匹配技术来识别已知的攻击模式。然而，这种方法在面对新型、未知的网络入侵时，往往显得力不从心。此外，传统的防御方法也无法很好地应对复杂多变的网络环境和攻击手段。

技术实现思路

1、有鉴于此，本技术的目的在于提供一种应用于数据中台构建的数据处理方法及系统。

2、依据本技术的第一方面，提供一种应用于数据中台构建的数据处理方法，应用于数据中台服务系统，所述方法包括：

3、获取应用于数据中台构建的第一模板网络入侵数据序列和第二模板网络入侵数据序列，所述第一模板网络入侵数据序列和所述第二模板网络入侵数据序列的网络入侵类别不同，所述第一模板网络入侵数据序列的模板配置规模大于所述第二模板网络入侵数据序列的模板配置规模；

4、将所述第一模板网络入侵数据序列分为多个模板网络入侵数据子序列，基于所述第一模板网络入侵数据序列的模板配置规模和所述第二模板网络入侵数据序列的模板配置规模的规模比值，确定每个所述模板网络入侵数据子序列的抽取规模；

5、基于所述抽取规模对每个所述模板网络入侵数据子序列进行数据抽取，以生成第三模板网络入侵数据序列，并基于所述第三模板网络入侵数据序列和所述第二模板网络入侵数据序列生成样例学习数据序列，所述第三模板网络入侵数据序列的模板配置规模和所述第二模板网络入侵数据序列的模板配置规模的规模比值小于设定比值；

6、基于所述样例学习数据序列对网络入侵预测模型进行模型参数学习，生成完成模型参数学习的所述网络入侵预测模型；

7、基于完成模型参数学习的所述网络入侵预测模型对目标网络入侵数据进行分类，生成所述目标网络入侵数据的分类预测结果，并基于所述目标网络入侵数据的分类预测结果对待构建数据中台进行安全防护强化配置，所述分类预测结果表征所述目标网络入侵数据的网络入侵类别。

8、在第一方面的一种可能的实施方式中，所述获取应用于数据中台构建的第一模板网络入侵数据序列和第二模板网络入侵数据序列，包括：

9、从初始网络入侵日志中获取携带攻击类型标签的基准入侵日志，所述攻击类型标签表征所述基准入侵日志的网络入侵类别；

10、对所述基准入侵日志进行编码，生成所述基准入侵日志的入侵路径编码矢量；

11、基于所述基准入侵日志的入侵路径编码矢量确定所述第一模板网络入侵数据序列和第二模板网络入侵数据序列。

12、在第一方面的一种可能的实施方式中，所述从初始网络入侵日志中获取携带攻击类型标签的基准入侵日志，包括：

13、获取所述基准入侵日志的初始入侵知识点；

14、基于所述基准入侵日志的初始入侵知识点，确定入侵行为评估信息；

15、基于所述入侵行为评估信息和入侵特征模板，从所述基准入侵日志中清除噪声入侵日志，生成更新后的所述基准入侵日志。

16、在第一方面的一种可能的实施方式中，所述对所述基准入侵日志进行编码，生成所述基准入侵日志的入侵路径编码矢量，包括：

17、依据所述基准入侵日志的先验攻击行为记录，构建所述基准入侵日志的初始入侵知识矢量，所述初始入侵知识矢量至少包括攻击类型、攻击来源和攻击目标；

18、依据所述基准入侵日志的攻击模式，构建所述基准入侵日志的攻击策略渗透特征；

19、基于设定的时间窗口对所述基准入侵日志的初始入侵知识矢量和攻击策略渗透特征进行序列化处理，以融合出不同时间窗口的融合后的初始入侵知识矢量和融合后的攻击策略渗透特征；

20、对融合前的初始入侵知识矢量和融合后的初始入侵知识矢量中的至少一个与攻击策略渗透特征进行编码，以获取所述基准入侵日志的第一编码矢量；

21、对所述基准入侵日志的第一编码矢量中的分类矢量进行处理，生成所述基准入侵日志的第二编码矢量；

22、将所述基准入侵日志的第一编码矢量和第二编码矢量进行拼接，生成所述基准入侵日志的入侵路径编码矢量，所述基准入侵日志的入侵路径编码矢量为数值型入侵路径编码矢量。

23、在第一方面的一种可能的实施方式中，所述对融合前的初始入侵知识矢量和融合后的初始入侵知识矢量中的至少一个与攻击策略渗透特征进行编码，以获取所述基准入侵日志的第一编码矢量，包括：

24、对所述融合前的初始入侵知识矢量和融合后的初始入侵知识矢量中的至少一个攻击策略渗透特征中的结构化矢量进行规则化转换；及

25、对所述融合前的初始入侵知识矢量和融合后的初始入侵知识矢量中的至少一个和攻击策略渗透特征中的非结构化矢量进行离散化转换。

26、在第一方面的一种可能的实施方式中，所述将所述第一模板网络入侵数据序列分为多个模板网络入侵数据子序列，基于所述第一模板网络入侵数据序列的模板配置规模和所述第二模板网络入侵数据序列的模板配置规模的规模比值，确定每个所述模板网络入侵数据子序列的抽取规模，包括：

27、在所述第一模板网络入侵数据序列和所述第二模板网络入侵数据序列的规模比值大于所述设定比值时，基于所述设定比值、所述模板网络入侵数据子序列的模板配置规模和所述第二模板网络入侵数据序列的模板配置规模，确定所述抽取规模。

28、在第一方面的一种可能的实施方式中，所述基于所述样例学习数据序列对网络入侵预测模型进行模型参数学习，生成完成模型参数学习的所述网络入侵预测模型，包括：

29、任意提取所述样例学习数据序列中的每个样例学习数据的多个特征，并输入初始学习算法，以生成风险加权预测树；

30、迭代执行所述任意提取所述样例学习数据序列中的每个样例学习数据的多个特征，并输入初始学习算法，以生成风险加权预测树的步骤，直至生成x个所述风险加权预测树，所述x为大于1的正整数；及

31、对x个所述风险加权预测树进行集成学习以生成所述网络入侵预测模型。

32、在第一方面的一种可能的实施方式中，所述基于所述样例学习数据序列对网络入侵预测模型进行模型参数学习，生成完成模型参数学习的所述网络入侵预测模型，包括：

33、将所述样例学习数据序列，划分为第一子序列和第二子序列；

34、依据初始化权重信息和所述第一子序列，对所述网络入侵预测模型进行模型参数学习，所述初始化权重信息包括所述模板网络入侵数据子序列的规模、所述x和任意提取所述样例学习数据序列中的每个样例学习数据的特征的规模；

35、对所述网络入侵预测模型进行网络入侵预测行为的学习；

36、依据网络入侵预测行为的学习后的模型参数信息，继续对所述网络入侵预测模型进行模型参数学习，生成完成模型参数学习的所述网络入侵预测模型，并依据所述第二子序列对所述完成模型参数学习的网络入侵预测模型进行测试；

37、在第一方面的一种可能的实施方式中，所述基于完成模型参数学习的所述网络入侵预测模型对目标网络入侵数据进行分类，生成所述目标网络入侵数据的分类预测结果，包括：

38、对获取的目标网络入侵数据集进行编码，生成所述目标网络入侵数据的入侵路径编码矢量；

39、将所述目标网络入侵数据的入侵路径编码矢量输入到完成模型参数学习的所述网络入侵预测模型中的每个所述风险加权预测树，以使得每个所述风险加权预测树均输出网络入侵分类数据；

40、基于每个所述风险加权预测树输出的所述网络入侵分类数据，生成所述分类预测结果。

41、在第一方面的一种可能的实施方式中，所述网络入侵分类数据包括所述目标网络入侵数据属于不同所述网络入侵类别的置信度，所述基于每个所述风险加权预测树输出的所述网络入侵分类数据，生成所述分类预测结果，包括：

42、计算每个所述网络入侵类别的置信度大于预设置信度的所述网络入侵分类数据的规模；

43、确定所述规模大于所述x的一半的所述网络入侵类别为所述分类预测结果。

44、依据本技术的第二方面，提供一种数据中台服务系统，所述数据中台服务系统包括处理器以及可读存储介质，所述可读存储介质存储有程序，该程序被处理器执行时实现前述的应用于数据中台构建的数据处理方法。

45、依据本技术的第三方面，提供提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，在监测到所述计算机可执行指令被执行时，实现前述的应用于数据中台构建的数据处理方法。

46、依据以上任意一个方面，本技术实施例通过获取两种不同网络入侵类别的模板网络入侵数据序列，并依据它们的模板配置规模进行智能化处理，使得该方法能够更全面、精准地应对各种网络入侵情况，提升了数据中台服务系统的安全防护能力。通过分割第一模板网络入侵数据序列，并基于规模比值确定抽取规模，实现了对数据的高效利用，优化了数据处理流程，同时降低了计算复杂度，提高了处理速度。通过生成第三模板网络入侵数据序列，并与第二模板网络入侵数据序列结合生成样例学习数据序列，保证了模型学习的全面性和准确性，为后续的模型参数学习提供了优质的数据基础。利用样例学习数据序列对网络入侵预测模型进行模型参数学习，使得模型能够更准确地预测和识别各种网络入侵行为，从而增强了数据中台服务系统的安全防护能力。通过对目标网络入侵数据进行分类，并基于分类预测结果对待构建数据中台进行安全防护强化配置，实现了对待构建数据中台的个性化保护，有效提升了数据中台的安全性和稳定性。由此，能够显著提升数据中台服务系统的安全防护能力，优化数据处理流程，提高处理速度，为数据中台的安全稳定运行提供了保障。

技术特征：

1.一种应用于数据中台构建的数据处理方法，其特征在于，应用于数据中台服务系统，所述方法包括：

2.根据权利要求1所述的应用于数据中台构建的数据处理方法，其特征在于，所述获取应用于数据中台构建的第一模板网络入侵数据序列和第二模板网络入侵数据序列，包括：

3.根据权利要求2所述的应用于数据中台构建的数据处理方法，其特征在于，所述从初始网络入侵日志中获取携带攻击类型标签的基准入侵日志，包括：

4.根据权利要求2所述的应用于数据中台构建的数据处理方法，其特征在于，所述对所述基准入侵日志进行编码，生成所述基准入侵日志的入侵路径编码矢量，包括：

5.根据权利要求4所述的应用于数据中台构建的数据处理方法，其特征在于，所述对融合前的初始入侵知识矢量和融合后的初始入侵知识矢量中的至少一个与攻击策略渗透特征进行编码，以获取所述基准入侵日志的第一编码矢量，包括：

6.根据权利要求1-5中任意一项所述的应用于数据中台构建的数据处理方法，其特征在于，所述将所述第一模板网络入侵数据序列分为多个模板网络入侵数据子序列，基于所述第一模板网络入侵数据序列的模板配置规模和所述第二模板网络入侵数据序列的模板配置规模的规模比值，确定每个所述模板网络入侵数据子序列的抽取规模，包括：

7.根据权利要求1-5中任意一项所述的应用于数据中台构建的数据处理方法，其特征在于，所述基于所述样例学习数据序列对网络入侵预测模型进行模型参数学习，生成完成模型参数学习的所述网络入侵预测模型，包括：

8.根据权利要求7所述的应用于数据中台构建的数据处理方法，其特征在于，所述基于所述样例学习数据序列对网络入侵预测模型进行模型参数学习，生成完成模型参数学习的所述网络入侵预测模型，包括：

9.根据权利要求8所述的应用于数据中台构建的数据处理方法，其特征在于，所述网络入侵分类数据包括所述目标网络入侵数据属于不同所述网络入侵类别的置信度，所述基于每个所述风险加权预测树输出的所述网络入侵分类数据，生成所述分类预测结果，包括：

10.一种数据中台服务系统，其特征在于，所述数据中台服务系统包括处理器以及可读存储介质，所述可读存储介质存储有程序，该程序被处理器执行时实现权利要求1-9中任意一项所述的应用于数据中台构建的数据处理方法。

技术总结
本申请实施例提供一种应用于数据中台构建的数据处理方法及系统，通过分割第一模板网络入侵数据序列，并基于规模比值确定抽取规模，提高了处理速度。通过生成第三模板网络入侵数据序列，并与第二模板网络入侵数据序列结合生成样例学习数据序列，保证了模型学习的全面性和准确性，利用样例学习数据序列对网络入侵预测模型进行模型参数学习，能够更准确地预测和识别各种网络入侵行为，从而增强了数据中台服务系统的安全防护能力。通过对目标网络入侵数据进行分类，并基于分类预测结果对待构建数据中台进行安全防护强化配置，实现了对待构建数据中台的个性化保护，有效提升了数据中台的安全性和稳定性。

技术研发人员：丘金源,黄振旺
受保护的技术使用者：广州天成网络技术有限公司
技术研发日：
技术公布日：2024/12/5