基于大数据挖掘技术的数据合规交易方法及系统与流程

本发明涉及人工智能，具体涉及一种基于大数据挖掘技术的数据合规交易系统、方法、电子设备及存储介质。

背景技术：

1、数据分类分级是根据数据资产的自然属性，结合国家、行业标准，制定适合数据的分类分级标准，并根据分类分级标准对客户数据进行分类分级，确定数据资产的安全级别。

2、当前基本都是在数据汇聚在业务中台后再进行数据分类分级的处理，存在数据分类分级不准确和安全管控不严谨的情况；且当前基于国家工业互联网的标识解析体系的标识数据开放权限管理功能是要么对外全部开放，要么是全部不开放，无法实现数据合规交易；

3、因此，目前亟需一种能够基于准确的数据分类分级级别实现基于大数据挖掘技术的数据合规交易方法。

技术实现思路

1、本发明实施例的目的在于提供一种基于大数据挖掘技术的数据合规交易系统、方法、电子设备及存储介质，用以解决现有技术中无法获取准确的数据分类分级级别，并通过准确的数据分类分级级别实现基于大数据挖掘技术的数据合规交易问题。

2、为实现上述目的，本发明实施例提供一种基于大数据挖掘技术的数据合规交易方法，所述基于大数据挖掘技术的数据合规交易方法具体包括：

3、获取开发环境中前端页面a1中的组件b1、组件b1操作对接的后端数据接口或数据交互调用信息请求c1，基于数据交互调用信息请求c1获取服务器日志数据，其中，所述组件b1的数量为一个或多个，所述数据交互调用信息请求c1的数量为一个或多个；

4、基于所述服务器日志数据获取操作功能项，并获取所述操作功能项在不同请求条件下对应的数据集、数据表、数据字段及数据处理规则；

5、获取后端触发任务和触发机制所调用的数据集、数据表、数据字段及数据处理规则；

6、对所有数据表和所有数据字段进行数据预处理，得到预处理数据；

7、构建数据分类分级模型，将所述预处理数据输入至所述数据分类分级模型进行训练，得到最优数据分类分级模型；

8、构建数据分类分级关键词库，其中，所述数据分类分级关键词库包括数据表的分类分级级别和数据字段的分类分级级别；

9、判断所述待分类分级数据是否存在于所述数据分类分级关键词库中，当所述待分类分级数据存在于所述数据分类分级关键词库中时，匹配获得所述待分类分级数据的分类分级级别；

10、当所述待分类分级数据不存在于所述数据分类分级关键词库中时，将待分类分级数据输入至所述最优数据分类分级模型，得到所述待分类分级数据对应的分类分级级别；

11、构建联盟链体系，其中，所述联盟链体系上的角色包括数据供应商、各数据交易所和数据采购商；

12、响应于数据流通规则设置请求，设置数据流通规则，其中，所述数据流通规则包括每个数据采购商对应的分类分级级别；

13、响应于交易请求，判断待交易数据是否符合数据采购商对应的分类分级级别，若是，完成交易。

14、在上述技术方案的基础上，本发明还可以做如下改进：

15、进一步地，所述对所有数据表和所有数据字段进行数据预处理，得到预处理数据，包括：

16、当所述待分类分级数据为非结构化数据时，对所述待分类分级进行提取，得到所述待分类分级对应的字段数据、对应的数据表和实体关系、以及各数据表对应的属性特征。

17、进一步地，所述构建数据分类分级模型，将所述预处理数据输入至所述数据分类分级模型进行训练，得到最优数据分类分级模型，包括：

18、预先设定数据表之间的关联性指标对应的阈值范围和数据字段之间数据的关联性指标对应的阈值范围。

19、进一步地，所述构建数据分类分级模型，将所述预处理数据输入至所述数据分类分级模型进行训练，得到最优数据分类分级模型，还包括：

20、将待分类分级数据输入至所述最优数据分类分级模型，提取相应的关键指标数据，基于所述关键指标数据匹配对应数据字段，数据表和实体关系、以及各数据表对应的属性特征；

21、获取数据表之间的关联性指标和数据字段之间数据的关联性指标，判断所述关联性指标是否超出阈值范围，当所述关联性指标超出阈值范围时，则不符合当前模型，重复上述操作，直至所述关联性指标符合阈值范围；

22、当所述关联性指标符合阈值范围时，生成所述待分类分级数据对应的分类分级级别。

23、进一步地，所述构建联盟链体系，包括：

24、响应于数据供应商的入驻请求，确定数据供应商申请合规登记的数据产品，获取所述数据产品对应的数据表和数据字段的分类分级标识数据，将所述分类分级标识数据权限自动开放给相应的数据交易所。

25、进一步地，所述构建联盟链体系，还包括：

26、构建数据识别模型，通过所述数据识别模型识别数据供应商当前接口数据对应的分类分级级别，其中，所述分类分级级别包括公共数据、个人信息、核心数据、重要数据和关键信息基础设施。

27、进一步地，所述构建联盟链体系，还包括：

28、构建企业资质分析模型，当数据采购商入驻数据交易所时，通过所述企业资质分析模型分析所述数据采购商对应的分类分级级别；

29、响应于交易请求，为数据采购商提供符合所述数据采购商对应的分类分级级别的接口数据。

30、一种基于大数据挖掘技术的数据合规交易系统，包括：

31、获取模块，用于获取开发环境中前端页面a1中的组件b1、组件b1操作对接的后端数据接口或数据交互调用信息请求c1，基于数据交互调用信息请求c1获取服务器日志数据，其中，所述组件b1的数量为一个或多个，所述数据交互调用信息请求c1的数量为一个或多个；

32、基于所述服务器日志数据获取操作功能项，并获取所述操作功能项在不同请求条件下对应的数据集、数据表、数据字段及数据处理规则；

33、获取后端触发任务和触发机制所调用的数据集、数据表、数据字段及数据处理规则；

34、预处理模块，用于对所有数据表和所有数据字段进行数据预处理，得到预处理数据；

35、构建模块，用于构建数据分类分级模型，将所述预处理数据输入至所述数据分类分级模型进行训练，得到最优数据分类分级模型；

36、构建数据分类分级关键词库，其中，所述数据分类分级关键词库包括数据表的分类分级级别和数据字段的分类分级级别；

37、分类分级模块，用于判断所述待分类分级数据是否存在于所述数据分类分级关键词库中，当所述待分类分级数据存在于所述数据分类分级关键词库中时，匹配获得所述待分类分级数据的分类分级级别；

38、当所述待分类分级数据不存在于所述数据分类分级关键词库中时，将待分类分级数据输入至所述最优数据分类分级模型，得到所述待分类分级数据对应的分类分级级别；

39、数据流通模块，用于构建联盟链体系，其中，所述联盟链体系上的角色包括数据供应商、各数据交易所和数据采购商；

40、响应于数据流通规则设置请求，设置数据流通规则，其中，所述数据流通规则包括每个数据采购商对应的分类分级级别；

41、响应于交易请求，判断待交易数据是否符合数据采购商对应的分类分级级别，若是，完成交易。

42、一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述方法的步骤。

43、一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述方法的步骤。

44、本发明实施例具有如下优点：

45、本发明中基于大数据挖掘技术的数据合规交易方法，基于所述服务器日志数据获取操作功能项，并获取所述操作功能项在不同请求条件下对应的数据集、数据表、数据字段及数据处理规则；获取后端触发任务和触发机制所调用的数据集、数据表、数据字段及数据处理规则；构建数据分类分级关键词库，其中，所述数据分类分级关键词库包括数据表的分类分级级别和数据字段的分类分级级别；判断所述待分类分级数据是否存在于所述数据分类分级关键词库中，当所述待分类分级数据存在于所述数据分类分级关键词库中时，匹配获得所述待分类分级数据的分类分级级别；当所述待分类分级数据不存在于所述数据分类分级关键词库中时，将待分类分级数据输入至所述最优数据分类分级模型，得到所述待分类分级数据对应的分类分级级别；构建联盟链体系，其中，所述联盟链体系上的角色包括数据供应商、各数据交易所和数据采购商；响应于数据流通规则设置请求，设置数据流通规则，其中，所述数据流通规则包括每个数据采购商对应的分类分级级别；响应于交易请求，判断待交易数据是否符合数据采购商对应的分类分级级别，若是，完成交易；解决了现有技术中无法获取准确的数据分类分级级别，并通过准确的数据分类分级级别实现基于大数据挖掘技术的数据合规交易问题。

技术特征：

1.一种基于大数据挖掘技术的数据合规交易方法，其特征在于，所述基于大数据挖掘技术的数据合规交易方法具体包括：

2.根据权利要求1所述基于大数据挖掘技术的数据合规交易方法，其特征在于，所述对所有数据表和所有数据字段进行数据预处理，得到预处理数据，包括：

3.根据权利要求1所述基于大数据挖掘技术的数据合规交易方法，其特征在于，所述构建数据分类分级模型，将所述预处理数据输入至所述数据分类分级模型进行训练，得到最优数据分类分级模型，包括：

4.根据权利要求3所述基于大数据挖掘技术的数据合规交易方法，其特征在于，所述构建数据分类分级模型，将所述预处理数据输入至所述数据分类分级模型进行训练，得到最优数据分类分级模型，还包括：

5.根据权利要求1所述基于大数据挖掘技术的数据合规交易方法，其特征在于，所述构建联盟链体系，包括：

6.根据权利要求1所述基于大数据挖掘技术的数据合规交易方法，其特征在于，所述构建联盟链体系，还包括：

7.根据权利要求1所述基于大数据挖掘技术的数据合规交易方法，其特征在于，所述构建联盟链体系，还包括：

8.一种基于大数据挖掘技术的数据合规交易系统，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中的任一项所述的方法的步骤。

10.一种非暂态计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中的任一项所述的方法的步骤。

技术总结
本发明实施例公开了一种基于大数据挖掘技术的数据合规交易方法及系统，包括：获取数据集、数据表、数据字段及数据处理规则；当待分类分级数据存在于数据分类分级关键词库中时，匹配获得待分类分级数据的分类分级级别；当待分类分级数据不存在于数据分类分级关键词库中时，将待分类分级数据输入至最优数据分类分级模型，得到待分类分级数据对应的分类分级级别；响应于数据流通规则设置请求，设置数据流通规则；响应于交易请求，判断待交易数据是否符合数据采购商对应的分类分级级别，若是，完成交易。解决现有技术中无法获取准确的数据分类分级级别，并通过准确的数据分类分级级别实现基于大数据挖掘技术的数据合规交易的问题。

技术研发人员：章志容
受保护的技术使用者：东莞市盟大数据科技有限公司
技术研发日：
技术公布日：2024/12/5