1.本技术实施例涉及计算机技术,尤其涉及一种数据处理方法及装置。
背景技术:
2.随着大数据相关技术的不断发展,目前针对数据的安全进行保护,已经数据处理中成为了非常重要的部分。
3.在进行数据保护的时候,通常会针对数据设置相应的安全等级,目前,相关技术中在针对数据进行安全等级的设置的时候,通常是针对数据人工的进行安全等级的标注。
4.然而,在数据量较多的情况下,人工标注数据安全等级的实现方式,会导致确定数据安全等级的操作效率低下。
技术实现要素:
5.本技术实施例提供一种数据处理方法及装置,以克服确定数据安全等级的操作效率低下的问题。
6.第一方面,本技术实施例提供一种数据处理方法,包括:
7.获取至少一个预设规则,其中,各所述预设规则对应各自的安全等级;
8.获取待识别的第一字段,所述第一字段中包括多个字段数据;
9.根据所述至少一个预设规则和所述第一字段中的字段数据进行匹配,确定所述第一字段对应的目标安全等级。
10.在一种可能的设计中,所述根据所述至少一个预设规则和所述第一字段中的字段数据进行匹配,确定所述第一字段对应的目标安全等级,包括:
11.在第一字段的多个字段数据中,获取第一预设数量个待匹配字段数据;
12.根据所述第一预设数量个待匹配字段数据,在所述至少一个预设规则中确定与所述第一字段匹配的目标规则;
13.根据所述目标规则对应的安全等级,确定所述第一字段对应的目标安全等级。
14.在一种可能的设计中,针对任一个所述预设规则,所述预设规则中包括预设正则表达式;
15.所述根据所述第一预设数量个待匹配字段数据,在所述至少一个预设规则中确定与所述第一字段匹配的目标规则,包括:
16.获取所述预设规则中的预设正则表达式;
17.确定所述第一预设数量个待匹配字段数据和所述预设正则表达式的匹配结果,所述匹配结果为匹配成功或者匹配失败;
18.若匹配结果为匹配成功的待匹配字段数据的数量大于或等于第二预设数量,则将所述预设规则确定为所述目标规则,其中,所述第二预设数量小于或等于所述第一预设数量。
19.在一种可能的设计中,所述根据所述目标规则对应的安全等级,确定所述第一字
段对应的目标安全等级,包括:
20.获取所述目标规则的数量;
21.若所述目标规则的数量为1,则将所述目标规则对应的安全等级确定为所述第一字段对应的安全等级;
22.若所述目标规则的数量大于1,则将所述目标规则对应的最大安全等级确定为所述第一字段对应的安全等级。
23.在一种可能的设计中,所述确定所述第一字段对应的目标安全等级之后,所述方法还包括:
24.以预设时长为周期,定时更新所述第一字段对应的目标安全等级。
25.在一种可能的设计中,所述第一字段的字段消息存储在字段消息队列中,所述字段消息用于指示识别所述第一字段的安全等级;所述获取待识别的第一字段,包括:
26.扫描所述字段消息队列,根据所述字段消息队列中的第一字段的字段消息,获取所述第一字段;或者,
27.根据接收的数据查询请求,获取所述第一字段,其中,所述数据查询请求中包括待查询的目标字段数据,所述目标字段数据属于所述第一字段。
28.在一种可能的设计中,所述第一字段属于第一表格,所述第一表格属于第一数据库;所述第一表格的表格消息存储在表格消息队列中,所述表格消息用于指示识别所述第一表格中各个字段的安全等级;所述第一数据库的数据库消息存储在数据库消息队列中,所述数据库消息用于指示识别所述第一数据库中的各个字段的安全等级;
29.所述扫描所述字段消息队列,根据所述字段消息队列中的第一字段的字段消息,获取所述第一字段之前,所述方法还包括:
30.获取待扫描的至少一个数据库,将各所述数据库各自的数据库消息存储至所述数据库消息队列中;
31.以及,扫描所述数据库消息队列,根据所述数据库消息队列中的第一数据库的数据库消息,获取所述第一数据库中待扫描的至少一个表格,并将各所述表格各自对应的表格消息存储至表格消息队列中;
32.以及,扫描所述表格消息队列,根据所述表格消息队列中的第一表格的表格消息,获取所述第一表格中待扫描的至少一个字段,并将各所述字段各自对应的字段消息存储至所述字段消息队列中。
33.第二方面,本技术实施例提供一种数据处理装置,包括:
34.第一获取模块,用于获取至少一个预设规则,其中,各所述预设规则对应各自的安全等级;
35.第二获取模块,用于获取待识别的第一字段,所述第一字段中包括多个字段数据;
36.确定模块,用于根据所述至少一个预设规则和所述第一字段中的字段数据进行匹配,确定所述第一字段对应的目标安全等级。
37.在一种可能的设计中,所述确定模块具体用于:
38.在第一字段的多个字段数据中,获取第一预设数量个待匹配字段数据;
39.根据所述第一预设数量个待匹配字段数据,在所述至少一个预设规则中确定与所述第一字段匹配的目标规则;
40.根据所述目标规则对应的安全等级,确定所述第一字段对应的目标安全等级。
41.在一种可能的设计中,针对任一个所述预设规则,所述预设规则中包括预设正则表达式;
42.所述确定模块具体用于:
43.获取所述预设规则中的预设正则表达式;
44.确定所述第一预设数量个待匹配字段数据和所述预设正则表达式的匹配结果,所述匹配结果为匹配成功或者匹配失败;
45.若匹配结果为匹配成功的待匹配字段数据的数量大于或等于第二预设数量,则将所述预设规则确定为所述目标规则,其中,所述第二预设数量小于或等于所述第一预设数量。
46.在一种可能的设计中,所述确定模块具体用于:
47.获取所述目标规则的数量;
48.若所述目标规则的数量为1,则将所述目标规则对应的安全等级确定为所述第一字段对应的安全等级;
49.若所述目标规则的数量大于1,则将所述目标规则对应的最大安全等级确定为所述第一字段对应的安全等级。
50.在一种可能的设计中,所述确定模块还用于:
51.在所述确定所述第一字段对应的目标安全等级之后,以预设时长为周期,定时更新所述第一字段对应的目标安全等级。
52.在一种可能的设计中,所述第一字段的字段消息存储在字段消息队列中,所述字段消息用于指示识别所述第一字段的安全等级;所述第二获取模块具体用于:
53.扫描所述字段消息队列,根据所述字段消息队列中的第一字段的字段消息,获取所述第一字段;或者,
54.根据接收的数据查询请求,获取所述第一字段,其中,所述数据查询请求中包括待查询的目标字段数据,所述目标字段数据属于所述第一字段。
55.在一种可能的设计中,所述第一字段属于第一表格,所述第一表格属于第一数据库;所述第一表格的表格消息存储在表格消息队列中,所述表格消息用于指示识别所述第一表格中各个字段的安全等级;所述第一数据库的数据库消息存储在数据库消息队列中,所述数据库消息用于指示识别所述第一数据库中的各个字段的安全等级;
56.所述第二获取模块还用于:
57.在所述扫描所述字段消息队列,根据所述字段消息队列中的第一字段的字段消息,获取所述第一字段之前,
58.获取待扫描的至少一个数据库,将各所述数据库各自的数据库消息存储至所述数据库消息队列中;
59.以及,扫描所述数据库消息队列,根据所述数据库消息队列中的第一数据库的数据库消息,获取所述第一数据库中待扫描的至少一个表格,并将各所述表格各自对应的表格消息存储至表格消息队列中;
60.以及,扫描所述表格消息队列,根据所述表格消息队列中的第一表格的表格消息,获取所述第一表格中待扫描的至少一个字段,并将各所述字段各自对应的字段消息存储至
所述字段消息队列中。
61.第三方面,本技术实施例提供一种数据处理设备,包括:
62.存储器,用于存储程序;
63.处理器,用于执行所述存储器存储的所述程序,当所述程序被执行时,所述处理器用于执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。
64.第四方面,本技术实施例提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。
65.第五方面,本技术实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计中任一所述的方法。
66.本技术实施例提供一种数据处理方法及装置,该方法包括:获取至少一个预设规则,其中,各预设规则对应各自的安全等级。获取待识别的第一字段,第一字段中包括多个字段数据。根据至少一个预设规则和第一字段中的字段数据,确定第一字段对应的目标安全等级。通过获取预设配置的多个预设规则,以及获取当前需要识别安全等级的第一字段,之后在至少一个预设规则中确定和第一字段的字段数据所匹配的预设规则,因为每一个预设规则都是对应各自的安全等级的,因此可以根据匹配的预设规则确定第一字段的预设规则,进而可以有效并快速的实现自动确定字段的安全等级,以有效提升确定数据安全等级的效率。
附图说明
67.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
68.图1为本技术实施例提供的相关技术中的数据保护示意图;
69.图2为本技术实施例提供的数据处理方法的流程图;
70.图3为本技术实施例提供的数据处理方法的流程图二;
71.图4为本技术实施例提供的规则配置的实现示意图;
72.图5为本技术实施例提供的预设规则的实现示意图;
73.图6为本技术实施例提供的数据存储结构的实现示意图;
74.图7为本技术实施例提供的消息队列的实现示意图;
75.图8为本技术实施例提供的确定匹配结果的实现示意图;
76.图9为本技术实施例提供的确定第一字段的安全等级的实现示意图;
77.图10为本技术实施例提供的各个字段的安全等级的界面示意图;
78.图11为本技术实施例提供的数据处理方法的流程示意图;
79.图12为本技术实施例提供的用户等级和安全等级的实现示意图一;
80.图13为本技术实施例提供的用户等级和安全等级的实现示意图二;
81.图14为本技术实施例提供的数据处理装置的结构示意图;
82.图15为本技术实施例提供的数据处理设备的硬件结构示意图。
具体实施方式
83.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
84.为了更好的理解本技术的技术方案,下面对本技术所涉及的相关技术进行进一步的详细介绍。
85.随着大数据相关技术的不断发展,目前数据安全的重要性也日益增加,因此针对数据进行安全保护,也称为了数据处理过程中非常重要的部分。
86.在目前的大数据背景下,当所有的数据都汇聚在数据仓库中时,其中必然会存在一些敏感数据,那么针对数据仓库中的所有敏感数据都应当实现相应的数据保护,以保证敏感数据不会发生泄漏。
87.假设在一个示例中,当前有上百个数据库,在每个数据库中都包括上百个表,在每个表中都50个字段,在每个字段中都包括100万条记录,那么在实际实现过程中,就需要确保这100*100*50*100w=5000亿的字段数据中所有的敏感数据都不会在大数据平台当中被泄露出去。可以看出这是一个非常巨大的工作量。
88.下面可以结合图1对相关技术中进行数据保护的实现进行理解,图1为本技术实施例提供的相关技术中的数据保护示意图。
89.参照图1,相关技术中在实现数据保护的时候,通常是针对一些特定的人群开放有数据的明文查看权限,也就是说这部分特定人群可以直接查看数据仓库的所有数据,即使是敏感数据也可以直接查看。这部分特定人群比如说可以是数据分析师、科学家等等。然而,尽管这部分特定人群的身份是比较特殊的,但是直接开放数据的明文查看权限,仍然会导致敏感数据处于被泄露的风险中。
90.同时,参照图1,除上述介绍的特定人群之外的非特定人群,在查看数据的时候,系统通常会对数据进行脱敏处理,并将脱敏处理后的数据处理给非特定人群。然而,非特定人群在某些情况下也需要明文数据来进行相应的处理,比如说开发人员可能需要数据来进行测试,若开发人员仅根据脱敏数据来进行测试,那么可能无法保证开发的产品在非脱敏数据上的正确运行。
91.因此基于上述介绍可以理解的是,目前的这种仅针对特定的人群开放全部数据的明文查看权限的实现方式,会导致数据保护的实现缺乏灵活性。所以,可以考虑针对不同的数据设置不同的安全等级,从而可以实现根据实际情况来进行数据的灵活展示。
92.目前,现有技术中在针对数据进行安全等级的设置的时候,通常由操作人员审核数据,并为数据标注相应的安全等级。然而随着相关技术的不断发展,目前的数据量是非常巨大的,因此这种人工标注安全等级的实现方式,会导致确定数据安全等级的操作效率十分低下。
93.针对现有技术中的问题,本技术提出了如下技术构思:通过设置多个预设规则,其中的每个预设规则可以包括各自对应的安全等级,之后可以将数据和预设规则进行匹配,将匹配成功的预设规则的安全等级确定为当前的数据的安全等级,从而可以自动并高效的实现对数据的安全等级的确定。
94.在上述介绍内容的基础上,下面结合具体的实施例对本技术提供的数据处理方法进行介绍,值得说明的是,本技术中各实施例的执行主体例如可以为服务器、处理器、微处理器等具备数据处理功能的设备,在实际实现过程中,执行主体的具体实现可以根据实际需求进行选择,本实施例对此不做限制,凡是具备数据处理功能的设备均可以作为本技术中各实施例的执行主体。
95.下面首先结合图2进行介绍,图2为本技术实施例提供的数据处理方法的流程图。
96.如图2所示,该方法包括:
97.s201、获取至少一个预设规则,其中,各预设规则对应各自的安全等级。
98.在本实施例中,例如可以设置有多个预设规则,其中各个预设规则用于和后续的各个数据进行匹配,任一个预设规则都可以对应有安全等级,在一种可能的实现方式中,比如说安全等级的划分可以包括:明文、敏感、机密、绝密,等等,其中不同的安全等级对应不同的数据保护程度,上述介绍的四个安全等级对应的数据需要被保护的程度依次增加。在实际实现过程中,安全等级的具体划分可以根据实际需求进行选择,只要可以实现不同的安全等级对应不同的数据保护程度即可。
99.以及,本实施例中的预设规则是用于描述相应的数据的,因此在预设规则中比如说可以描述数据的表达式等等,之后可以根据其中的表达式和相应的数据进行匹配,进而实现预设规则和数据的匹配。
100.s202、获取待识别的第一字段,第一字段中包括多个字段数据。
101.其中,第一字段可以理解为具体的数据的含义,比如说第一字段可以是“身份证”、“姓名”等等,以及在第一字段中可以包括多个字段数据,第一字段中的第一字段数据比如说可以是具体的身份证号码、具体的姓名等等。
102.在实际实现过程中,数据仓库中可以存在多个字段,本实施例中的第一字段可以是多个字段中的任意一个,其中针对每一个字段的实现方式都是类似的,需要识别安全等级的字段都可以作为本实施例中的第一字段。
103.s203、根据至少一个预设规则和第一字段中的字段数据进行匹配,确定第一字段对应的目标安全等级。
104.本实施例中的预设规则用于和字段数据进行匹配,因此在获取预设规则以及第一字段中的字段数据之后,例如可以根据至少一个预设规则和第一字段中的字段数据进行匹配,从而确定当前的第一字段所匹配的预设规则,之后例如可以根据第一字段所匹配的预设规则的安全等级,确定第一字段所对应的目标安全等级。
105.本技术实施例提供的数据处理方法,包括:获取至少一个预设规则,其中,各预设规则对应各自的安全等级。获取待识别的第一字段,第一字段中包括多个字段数据。根据至少一个预设规则和第一字段中的字段数据,确定第一字段对应的目标安全等级。通过获取预设配置的多个预设规则,以及获取当前需要识别安全等级的第一字段,之后在至少一个预设规则中确定和第一字段的字段数据所匹配的预设规则,因为每一个预设规则都是对应各自的安全等级的,因此可以根据匹配的预设规则确定第一字段的预设规则,进而可以有效并快速的实现自动确定字段的安全等级,以有效提升确定数据安全等级的效率。
106.在上述实施例的基础上,下面结合图3至图10对本技术提供的数据处理方法进行进一步的详细介绍,图3为本技术实施例提供的数据处理方法的流程图二,图4为本技术实
施例提供的规则配置的实现示意图,图5为本技术实施例提供的预设规则的实现示意图,图6为本技术实施例提供的数据存储结构的实现示意图,图7为本技术实施例提供的消息队列的实现示意图,图8为本技术实施例提供的确定匹配结果的实现示意图,图9为本技术实施例提供的确定第一字段的安全等级的实现示意图,图10为本技术实施例提供的各个字段的安全等级的界面示意图。
107.如图3所示,该方法包括:
108.s301、获取至少一个预设规则,其中,各预设规则对应各自的安全等级。
109.其中,s301的实现方式与s201的实现方式类似,此处不再赘述。
110.同时可以理解的是,本实施例中的至少一个预设规则都是预先配置的,下面结合图4对预先配置预设规则的实现方式进行介绍。
111.如图4所示,在配置预设规则的时候,例如可以配置规则名称、规则备注、规则内容、规则分类、安全等级,以及还可以设置生效状态。
112.其中,规则名称就是当前所配置的预设规则的名称,其可以反映这条规则的具体含义等等,本实施例对此不做限制,比如说规则名称可以是“敏感词”、“域名”等等,规则名称的具体设置可以根据实际需求进行选择。
113.以及,规则备注可以是在配置预设规则的时候进行的相应的备注,其例如可以是针对当前规则的解释,或者还可以是针对当前规则的使用规范的说明等等,本实施例对规则备注的具体实现不做限制,其可以根据实际的需求备注任意的内容。
114.以及,其中的规则内容也就是上述介绍的预设正则表达式,下面对预设正则表达式进行简单说明,具体的,正则表达式(regular expression)描述了一种字符串匹配的模式(pattern),可以用来检查一个字符串是否含有某种子字符串、将匹配的子字符串替换、或者从某个字符串中取出符合某个条件的子字符串等等。
115.因此可以通过预先设置正则表达式来描述各个不同类型的字符串,比如说针对身份证号码,就可以通过正则表达式来进行相应的描述,那么身份证号码就可以和相应的正则表达式实现匹配。再比如说针对手机号码,也可以通过正则表达式来进行相应的描述,那么手机号码可以和相应的正则表达式实现匹配。
116.因此可以理解的时候,后续在进行规则的匹配的时候,就是针对其中的预设正则表达式进行匹配,在一种可能的实现方式中,配置的每一条预设规则中都包括一个预设的正则表达式。以及参照图4,在输入正则表达式的同时,为了确定当前的正则表达式是否正确,还例如可以在图4中的401所指示的位置提供针对正则表达式进行测试的输入框,通过设置测试输入框,可以快速有效的确定当前的正则表达式的配置是否正确,进而可以有效提升规则配置的效率以及正确性。
117.以及,其中的规则分类可以是当前配置的规则的具体业务类型,比如说可以是测试,再比如说可以是模板分类等等,本实施例对规则分类的具体实现不做限制,其中规则分类的具体实现可以根据实际的业务需求进行设置。
118.以及,针对每一个预设规则还设置有各自对应的安全等级,安全等级也就是本实施例中的安全等级。在一种可能的实现方式中,安全等级可以包括图4中所示的“明文、敏感、机密、绝密”,这四个安全等级是依次升高的,也就表示数据需要保护的程度依次增加。
119.在实际实现过程中,在进行规则配置的时候,每个规则中都会包括预设的正则表
达式,因此对于每个规则来说,就可以确定当前的规则具体是匹配什么类型的数据的,那么也就可以对应的确定相应的数据保护程度如何,因此针对每一个预设规则都可以设置各自对应的安全等级,其中各个预设规则对应的安全等级的具体实现可以根据实际需求进行选择和设置,本实施例对此不做限制。
120.以及参照图4,针对配置的每个安全规则,在确认之前还可以配置其生效状态,如果生效状态为开启的话,那么在点击图4的确认按钮之后该预设规则就会立即生效,如果生效状态为关闭的话,那么在点击图4的确认按钮之后该预设规则暂不生效,之后例如可以根据生效指令生效。
121.上述结合图4介绍的是针对预设规则的配置,下面再结合图5对配置完成的预设规则进行理解。
122.参照图5,图5中给出的就是配置的多条预设规则,比如说针对501所指示的预设规则,其规则名称是“域名”,其规则分类是“模板分类”,其规则内容中所包括的正则表达式就是图5中所标识的正则表达式,可以理解的是,这就是描述域名的正则表达式,以及规则备注可以是“域名”,以及其安全等级例如为“机密”,以及在预设规则中还可以包括当前规则对应的脱敏算法。
123.同时,参照图5,针对每一个预设规则,还可以在操作界面中提供各个预设规则所对应的操作控件,比如说图5中的502所示的关闭控件和调整规则控件,当检测到针对关闭控件的操作的时候,比如说可以将相应的预设规则的生效状态设置为关闭。以及,当检测到针对调整规则控件的操作的时候,比如说可以显示上述图5所示的规则编辑界面,之后用户可以在规则编辑页面对预设规则进行调整,调整完之后对调整后的预设规则进行提交,就实现了对预设规则的修改。
124.在实际实现过程中,预设规则中可以配置的具体选项、预设规则中各个配置信息的具体实现、预设规则的操作界面的可操作内容等等,均可以根据实际需求进行选择,本实施例对此不做特别限制,只要可以根据实际需求配置相应的预设规则,在预设规则中包括正则表达式,以及每个正则表达式对应各自的安全等级,同时针对各个预设规则可以进行相应的增改删查即可。
125.因此基于上述介绍可以确定的是,本实施例中通过配置预设规则,可以设置有多个预设的正则表达式,预设正则表达式可以描述相应的数据,因此本实施例中可以将字段数据和预设正则表达式进行匹配。
126.s302、获取待识别的第一字段,第一字段中包括多个字段数据。
127.其中,s301的实现方式与s201的实现方式类似,下面对获取待识别的第一字段的可能的实现方式进行进一步的介绍。
128.在本实施例中,待识别的第一字段比如说可以是用户当前查询的字段,则在获取待识别的第一字段的一种可能的实现方式中,可以根据接收的数据查询请求,获取第一字段,其中,数据查询请求中包括待查询的目标字段数据,目标字段数据属于第一字段。
129.比如用户可以在客户端中输入相应的数据查询需求,其中数据查询需求可以指示当前用户具体需要查询什么数据,客户端根据用户输入的数据查询需求,可以生成数据查询请求。当前的这种实现方式就是说,在用户查询相应数据的时候,再实时的确定相应数据所在的第一字段的安全等级。
130.或者,本实施例中还可以是针对当前存储的各个字段依次进行扫描,从而预先确定各个字段对应的安全级别,当前的这种实现方式就是说,在用户查询数据之前,就预先生成各个字段的安全等级。
131.因此在获取待识别的第一字段的另一种可能的实现方式中,第一字段的字段消息可以存储在字段消息队列中,字段消息用于指示识别第一字段的安全等级,则例如可以扫描字段消息队列,根据字段消息队列中的第一字段的字段消息,获取第一字段。
132.例如可以参照图6对数据的存储结构进行理解,如图6所示,比如说在进行数据存储是可以包括多个数据库,例如可以包括图6所示的数据库601、数据库602、
…
、数据库60n。以及在每一个数据库中都可以包括多个表,比如说数据库601中可以包括表6011、表6012、表6013、表6014等等。以及在每一个表中都可以包括多个字段,比如说在表6011中可以包括60111所指示的字段,在一种可能的实现方式中,表中的一列例如可以是一个字段,或者还有可能是表中的一行是一个字段,本实施例对此不做限制。
133.以及在每一个字段中都可以包括多个记录,每一个记录都是一个字段数据,比如说图6中的字段60111中可以包括字段数据601111。可以理解的是,一个字段中所包括的字段数据都是相同含义相同的数据,比如说当前的字段60111具体是“姓名”字段,则字段60111中所包括的各个字段数据都是姓名;再比如说当前的字段60111具体是“手机号”字段,则字段60111中所包括的各个字段数据都是手机号码。在实际实现过程中,数据库的数量、数据库中表的数量、表中字段的数量、字段的含义、字段中字段数据的数量、字段数据的具体数据内容、等等,均可以根据实际需求进行选择和设置,本实施例对数据的具体实现方式不做限制。
134.因此在本实施例中,可以是第一字段属于第一表格,第一表格属于第一数据库。
135.同时可以理解的是,当前的实现方式是针对各个字段均预先生成各自对应的安全等级,但是在实际的数据仓库中,数据量是非常大的,那么要针对其中的每一个字段都预先确定各自对应的安全等级,工作量也是比较大的,为了提升预先生成各个字段的安全等级的处理效率,在一种可能的实现方式中,可以采用消息队列的方式来实现识别各字段的安全等级。
136.例如可以结合图7进行理解,如图7所示,例如可以设置有三种消息队列,分别是数据库消息队列、表消息队列、字段消息队列。
137.则参照图7,例如可以执行图7所示的服务1:获取数据库清单,在数据库清单中可以包括多个数据库,可以理解的是,本实施例中可以针对每个数据库都进行扫描,因此可以根据数据库清单,将待扫描的至少一个数据库各自的数据库消息存储至数据库消息队列中,其中数据库消息用于指示识别对应数据库中的各个表格中各个字段的安全等级。也就是说其中每一个数据库都对应数据库消息队列中的一条消息,假设当前存在100个数据库,则在数据库消息队列中例如可以产生100条消息。
138.以及,可以扫描数据库消息队列,以从数据库消息队列中获取待识别的数据库消息,本实施例中的“待识别”指的就是待识别安全等级,基于上述介绍可以确定的是,在每个数据库中都可以包括多个表,可以理解的是,本实施例中针对每个表都进行扫描,则参照图7,例如可以执行图7所示的服务2:扫描数据库消息列表,获取第一数据库的数据库消息,并根据第一数据库的数据库消息,获取第一数据库中待扫描的至少一个表格,之后可以将待
扫描的至少一个表格各自对应的表格消息存储至表格消息队列中,其中每一个表格对应表格消息队列中的一条消息。上述假设当前存在100个数据库,同时假设在每个数据库中都包括100张表,则在表消息队列中最多可以包括10000条消息。
139.以及,可以扫描表格消息队列,从表格消息队列中获取待识别的表格消息,基于上述介绍可以确定的是,在每个表格中都可以包括多个字段,可以理解的是,本实施例中针对每个字段都进行扫描,则参照图7,例如可以执行图7所示的服务3:扫描表格消息队列,获取第一表格的表格消息,并根据第一表格的表格消息,获取第一表格中待扫描的至少一个字段,之后可以将各个字段各自对应的字段消息存储至字段消息队列中,其中每一个字段对应字段消息队列中的一条消息。上述假设当前存在100个数据库,以及在每个数据库中都包括100张表,同时假设在每个表中都包括50个字段,则在字段消息队列中最多可以包括50万条消息。
140.之后可以从字段消息队列中获取待识别的第一字段的字段消息,从而获取第一字段,然后例如可以执行图5所示的服务4:根据字段消息,获取对应的第一字段中的字段数据,然后可以根据字段数据,确定当前的第一字段所对应的安全等级。
141.基于上述介绍可以理解的是,针对数据库、表、字段、字段数据这4个不同层次的数据结构,分别设置有上述介绍的服务1、服务2、服务3、服务4。可以确定的是,对于上述的4种服务,每种服务都会生产消息给下游服务消费,也会消费上游服务生产的消息,因此通过设置上述的不同级别的消费队列,可以实现各个消费队列之间的并行处理。比如说数据库列表在进行数据库消息队列的入队的同时,后续的表、字段的处理就已经可以并行执行了,而无需等待数据库扫描完成才处理。
142.以及,上述介绍的各个服务例如可以理解为不同的处理单元,为了提升处理效率,例如可以针对各个服务的处理单元设置多个并发的线程,进而使得各个服务可以多线路并行的执行上述的处理过程。同时,因为数据库消息队列、表消息队列、字段消息队列中的消息的数量差距是比较大的,因此针对每种消息队列中消息的量级不同,以及消费资源消耗的不同,可以针对不同的服务设置不同的并发线程数量。
143.比如说服务1要处理的消息数是最少的,因此服务1对应的并发线程数量可以设置成最小,而服务4要消费的消息数是最多的,因此服务4对应的并发线程数量越多越好,在实际实现过程中,针对各个服务所设置的并发线程的数量可以根据实际需求进行选择和设置,只要可以有效的提升识别各个字段的安全等级的效率即可。
144.因此综上所述,本实施例中可以预先生成各个字段各自对应的安全等级,并将各个字段的安全等级存储在预设存储空间中,之后直接查询需要的字段的安全等级即可。或者,还可以在进行数据查询的时候,再实时生成需要查询的第一字段数据所在的第一字段的安全等级,其具体的实现方式可以根据实际需求进行选择和设置,本实施例对此不做限定。
145.s303、在第一字段的多个字段数据中,获取第一预设数量个待匹配字段数据。
146.在本实施例中,每个字段都可以对应多个字段数据,则当前例如可以在第一字段对应的多个字段数据中,获取第一预设数量个待匹配字段数据。其中的待匹配字段数据是后续进行匹配处理的字段数据。可以理解的是,在每个字段中所包括的字段数据的数量都是非常多的,通过获取第一预设数量个待匹配字段数据执行后续的匹配处理,从而可以有
效减少匹配处理的工作量,以提升确定字段的安全等级的效率。
147.其中,从第一字段对应的多个字段数据中获取第一预设数量个待匹配字段数据的时候,例如用n来表示第一预设数量,则比如说可以选择前n个字段数据作为待匹配字段数据,或者还可以选择后n个字段数据作为待匹配字段数据,或者还可以随机选择n个字段数据作为待匹配字段数据,本实施例对这待匹配字段数据具体是哪些字段数据不做限制,只要待匹配字段数据的数量是第一预设数量个,并且是从第一字段对应的多个字段数据中选择的即可。
148.以及,第一预设数量比如说可以是1000,也就表示从第一字段对应的多个字段数据中选择1000个字段数据作为待匹配字段数据。在实际实现过程中,第一预设数量的具体实现可以根据实际需求进行选择和设置,本实施例对此不做限制。
149.s304、获取预设规则中的预设正则表达式。
150.基于上述介绍可以确定的是,本实施例中的任意一个预设规则中都包括预设正则表达式,在本实施例中,例如每个预设规则都可以对应各自的安全等级,则例如可以根据字段数据和各个预设规则中的预设正则表达式进行匹配,在匹配成功的时候,可以将预设规则对应的安全等级确定为当前的字段数据对应的第一字段的安全等级。
151.针对任一个预设规则的实现方式都是类似的,因此下面以任一个预设规则为例进行介绍,其余预设规则的实现方式类似,例如可以获取预设规则的预设正则表达式。
152.s305、确定第一预设数量个待匹配字段数据和预设正则表达式的匹配结果,匹配结果为匹配成功或者匹配失败。
153.本实施例中需要将第一预设数量个待匹配字段和多个预设正则表达式进行匹配。
154.具体的,针对任一个预设正则表达式,本实施例中可以确定第一预设数量个待匹配字段数据和预设正则表达式的匹配结果,其中匹配结果为匹配成功或者匹配失败。
155.针对每一个预设正则表达式都可以进行上述的匹配,因此本实施例中例如可以确定第一预设数量个待匹配字段数据和各个预设正则表达式的匹配结果。
156.s306、若匹配结果为匹配成功的待匹配字段数据的数量大于或等于第二预设数量,则将预设规则确定为目标规则,其中,第二预设数量小于或等于第一预设数量。
157.针对任意一个预设正则表达式,在将第一预设数量和待匹配字段和预设正则表达式进行匹配之后,可以确定匹配成功或者匹配失败的匹配结果,之后例如可以确定第一预设数量个待匹配字段中,匹配结果为匹配成功的待匹配字段的数量,然后将匹配成功的数量和第二预设数量进行比较,若确定匹配成功的数量大于或等于第二预设数量,则可以确定当前的预设正则表达式和当前的第一字段匹配成功,进而可以将当前的正则表达式所对应的预设规则确定为目标规则,本实施例中的第二预设数量是小于或等于第一预设数量的。
158.在一种可能的实现方式中,第二预设数量比如说可以是第一预设数量的一半,也就是说只要在第一预设数量个待匹配字段数据中有大于一半的待匹配字段的匹配结果是匹配成功,就可以确定当前的预设正则表达式和当前的第一字段是匹配成功的。或者,第二预设数量还比如说可以是第一预设数量的2/3,等等,本实施例对第二预设数量的具体实现方式不做限定,其可以根据实际需求进行选择和设置,可以理解的是,第二预设数量是用于衡量当前的预设正则表达式和第一字段是否匹配成功的门限,只要其是小于第一预设数量
的即可。
159.下面可以结合图8进行理解,为了便于介绍,下面以第一预设数量是5,第二预设数量为例进行说明,如图8所示,当前存在5个待匹配字段数据,分别是图8中所示的字段数据1、字段数据2、字段数据3、字段数据4、字段数据5,以及假设当前是针对预设正则表达式a在进行匹配,则可以对每一个待匹配字段数据都和预设正则表达式a进行匹配,从而确定各个待匹配字段数据各自对应的匹配结果。
160.参照图8,假设当前字段数据1、字段数据2、字段数据4、字段数据5对应的匹配结果都是匹配成功,字段数据3对应的匹配结果是匹配失败,那么可以确定的是,在5个待匹配字段数据中有4个都匹配成功了,因此匹配结果为匹配成功的待匹配字段数据的数量是大于第二预设数量3的,因此可以确定当前的预设正则表达式为目标正则表达式,进而可以确定当前的预设正则表达式a对应的预设规则为目标规则。
161.上述介绍的是针对某一个预设正则表达式的处理过程,在实际实现过程中,针对各个预设正则表达式都可以执行上述过程,从而可以在多个预设规则中确定目标规则。
162.s307、获取目标规则的数量。
163.基于上述介绍可以确定的是,本实施例中的目标正则表达式就是和第一字段匹配成功的正则表达式,以及每个预设正则表达式都对应有各自的安全等级,因此本实施例中可以将目标正则表达式的安全等级确定为第一字段对应的安全等级。其中,目标正则表达式的数量可能仅有一个,也可能有多个。
164.针对一个目标正则表达式和多个目标正则表达式的实现方式存在一定的差异,因此当前获取目标规则的数量。
165.s308、若目标规则的数量为1,则将目标规则对应的安全等级确定为第一字段对应的安全等级。
166.在一种可能的实现方式中,若目标规则的数量为1,则可以直接将目标规则对应的安全等级确定为第一字段对应的安全等级,比如说目标规则对应的安全等级为机密,则可以确定当前的第一字段对应的安全等级也是机密。
167.s309、若目标规则的数量大于1,则将目标规则对应的最大安全等级确定为第一字段对应的安全等级。
168.在另一种可能的实现方式中,若目标规则的数量大于1,则可以确定当前存在多个和第一字段匹配的预设规则,则可以将目标规则对应的最大安全等级确定为第一字段对应的安全等级。
169.例如可以参照图9进行理解,假设当前针对第一字段,确定有图9所示的3个目标规则,分别是预设规则a、预设规则b、预设规则c,以及假设预设规则a对应的安全等级是绝密,预设规则b对应的安全等级是机密,预设规则c对应的安全等级是机密,则可以将这3个预设规则对应的安全等级中最大的安全等级,也就是“绝密”,确定为第一字段对应的安全等级,那么在图9所示的示例中,第一字段对应的安全等级就是“绝密”。
170.上述介绍了确定各个字段的安全等级的实现方式,在一种可能的实现方式中,在确定各个字段对应的安全等级之后,例如可以将各个字段的安全等级存储至预设存储空间中。同时,在预设存储空间中存储的各个字段的安全等级,还可以以预设时长为周期进行定时更新,比如说每天进行更新,再比如说可以每个月进行更新等等,本实施例对此不做限
制。以及,更新的具体实现也就是重新执行上述介绍的过程,此处对此不再赘述。
171.以及,在预设存储空间中存储的各个字段的安全等级还例如可以参照图10进行理解。
172.如图10所示,针对每一个字段,例如可以记录其所属的表、所属的数据库、所属的应用,以及当前具体命中的预设规则的名称、对应的安全等级,以及当前的安全等级开启的状态,以及这些信息都可以展示在图形用户界面中,以使得用户可以快速有效的确定当前的各个字段的相关信息。
173.比如说图10中的1001,就指示了字段1所属的表是表1,所属的数据库是数据库1,所属的应用是08021,其中08021例如可以是应用的编号,以及命中的规则是身份证号,当前的安全等级是机密,当前的安全等级状态是开启。其余的字段的实现同样参照图10,此处不再赘述。
174.同时,参照图10,针对每一个字段,还可以在图形用户界面中提供各个字段所对应的操作控件,比如说图10中的1002所示的关闭控件和调整密级控件,当检测到针对关闭控件的操作的时候,比如说可以将相应的字段的安全等级设置为关闭。以及,当检测到针对调整密级控件的操作的时候,比如说可以显示密集编辑界面,之后用户可以在密集编辑页面对当前的字段的安全等级进行调整。以及还可以在图形用户界面中提供可以查询相应字段的安全等级的控件,比如说参照图10中的1003,用户例如可以根据实际需求筛选相应的需要查询的内容。
175.本技术实施例提供的数据处理方法,通过预先生成各个字段各自对应的安全等级,或者实时生成的各个字段各自对应的安全等级,从而可以灵活有效的确定各个字段各自对应的安全等级。以及在具体确定字段对应的安全等级的时候,具体是根据字段中的第一预设数量个待匹配字段数据和预设正则表达式进行匹配,之后将匹配的目标正则表达式对应的安全级别确定为当前字段对应的安全级别,其中正则表达式是对字段数据进行的动态描述,也就是说无论字段数据发生什么样的变化,只要其符合对应的正则表达式所描述的规则,都可以实现匹配,相较于根据固定的预设关键字进行匹配的实现方式,根据正则表达式进行匹配可以有效提升匹配的灵活性和有效性。同时当前是选择第一预设数量个待匹配字段数据进行匹配处理,从而可以有效减少匹配处理的工作量,以提升确定字段的安全级别的处理效率。
176.需要说明的是,本实施例中的第一字段可以包括一个字段,则可以根据当前的第一字段对应的展示方式以及对应的第一字段数据直接生成目标字段数据。以及本实施例中的第一字段还可以包括多个字段,则第一字段中的每个字段都可以对应各自的展示方式,则例如可以根据各个字段各自对应的展示方式,对各自对应的第一字段数据进行相应的处理,从而生成各个字段各自对应的目标字段数据。
177.本技术实施例提供的数据处理方法,包括:接收客户端发送的数据获取请求,数据获取请求中包括第一用户的标识和查询指令,查询指令用于查询第一字段中的第一字段数据。获取第一字段对应的安全等级,以及根据第一用户的标识获取第一用户的用户等级。根据第一字段对应的安全等级和第一用户的用户等级,确定第一字段对应的展示方式,展示方式为明文展示或者脱敏处理后展示。根据第一字段对应的展示方式和第一字段数据,生成目标字段数据,并向客户端发送目标字段数据。通过获取第一用户查询的第一字段的安
全等级,以及获取第一用户的用户等级,之后根据第一字段的安全等级和第一用户的用户等级,来确定针对第一字段的展示方式,从而可以有效实现根据用户的实际数据访问需求以及数据实际需要的保护程度,确定具体的数据处理方式,进而可以有效提升数据保护的灵活性。
178.在上述介绍的各实施例的基础上,下面结合图11-图13对本技术提供的数据处理方法的实现的一个具体应用场景的流程进行介绍,图11为本技术实施例提供的数据处理方法的流程示意图,图12为本技术实施例提供的用户等级和安全等级的实现示意图一,图13为本技术实施例提供的用户等级和安全等级的实现示意图二。
179.如图11所示:
180.1、查询用户可以通过客户端向查询组件提交数据获取请求,在数据获取请求中就可以包括上述实施例介绍的第一用户的标识和查询指令;
181.2、之后查询组件可以根据查询指令在被查询的数据库中进行数据的查询;
182.3、被查询的数据库可以向查询组件返回查询结果,在查询结果中就包括用户要获取的第一字段数据;
183.4、查询组件可以向脱敏组件传入第一用户的标识以及查询结果;
184.5、脱敏组件根据查询结果,确定查询结果所在的表以及第一字段,以及还可以获取第一字段的安全等级,以及还可以根据第一用户的标识,获取第一用户的用户等级,然后根据安全等级和用户等级确定对第一字段数据的展示方式,展示方式可以是明文展示,还可以是脱敏处理后展示。
185.具体的,在本实施例中,每一个字段都对应有各自的安全等级,其中各个字段对应的安全等级可以是预先设置好的,或者还可以是实时生成的,其实现方式可以参照上述介绍,此处不再赘述。
186.以及,本实施例中针对每一个用户也都设置有各自对应的用户等级,在一种可能的实现方式中,例如可以在预设存储空间中存储有各个用户的标识各自对应的用户登记,则例如可以根据第一用户的标识,在预设存储空间中获取第一用户的用户等级。
187.在一种可能的实现方式中,用户等级的划分例如也可以为上述介绍的:明文、敏感、机密、绝密,等等,或者用户等级的划分还可以为:一级、二级、三级、四级等等,本实施例对用户等级的划分的具体实现同样不做限制,其可以根据实际需求进行选择和设置,只要可以实现不同的用户等级对应不同的数据访问权限即可。
188.可以理解的是,用户等级和安全等级之间就存在大小关系,在一种可能的实现方式中,用户等级和安全等级可以是完全一致的,参照图12,用户等级和安全等级都是图12所示的4个等级,这4个等级从大到小依次是“绝密、机密、敏感、明文”,也就是说绝密>机密>敏感>明文,那么用户等级和安全等级之间的大小关系也就是当前的这个关系。
189.如图12所示,当用户等级是绝密的时候,其可以明文查看的数据的安全等级就包括绝密、机密、敏感、明文;当用户等级是机密的时候,其可以明文查看的数据的安全等级就包括机密、敏感、明文;当用户等级是敏感的时候,其可以明文查看的数据的安全等级就包括敏感、明文;当用户等级是明文的时候,其可以明文查看的数据的安全等级就包括明文。
190.比如说在图12的示例中,假设当前用户等级是机密,以及第一字段对应的安全等级是机密,则可以确定用户等级是等于第一字段对应的安全等级的,因此可以确定第一字
段的展示方式为明文展示。
191.再比如说在图12的示例中,假设当前用户等级是机密,但是第一字段对应的安全等级是绝密,则可以确定用户等级是小于第一字段对应的安全等级的,因此可以确定第一字段的展示方式为脱敏处理后展示。
192.或者,用户等级和安全等级也可以不是完全一致的,而是存在对应关系,参照图13,比如说用户等级可以是图13所示的一级、二级、三级、四级、五级、六级、七级、八级,以及安全等级可以是图13所示的绝密、机密、敏感、明文,图13中所述的大小关系比如可以是,用户的一级和二级可以对应于安全等级中的绝密,用户的三级和四级可以对应于安全等级中的机密,用户的五级和六级可以对应于安全等级中的敏感,用户的七级和八级可以对应于安全等级中的明文。
193.也就是说,当用户等级是一级或二级的时候,其可以明文查看的数据的安全等级就包括绝密、机密、敏感、明文;当用户等级是三级或四级的时候,其可以明文查看的数据的安全等级就包括机密、敏感、明文;当用户等级是五级或六级的时候,其可以明文查看的数据的安全等级就包括敏感、明文;当用户等级是七级或八级的时候,其可以明文查看的数据的安全等级就包括明文。
194.再比如说在图13的示例中,假设当前用户等级是四级,以及第一字段对应的安全等级是敏感(五级和六级及以上就可以明文访问),则可以确定用户等级是大于第一字段对应的安全等级的,因此可以确定第一字段的展示方式为明文展示。
195.再比如说在图13的示例中,假设当前用户等级是八级,但是第一字段对应的安全等级是敏感(五级和六级及以上才可以明文访问),则可以确定用户等级是小于第一字段对应的安全等级的,因此可以确定第一字段的展示方式为脱敏处理后展示。
196.在实际实现过程中,用户等级和安全等级的具体设置可以根据实际需求进行选择,以及用户等级和安全等级之间的对应关系也是可以根据实际需求进行选择和配置的,相应的就可以确定各个用户等级和各个安全等级之间打大小关系,本实施例对此不做限制。
197.在确定第一字段对应的安全等级以及第一用户的用户等级之后,例如可以确定当前第一用户的用户等级是否超出了第一字段对应的安全等级,从而确定后续的第一字段对应的展示方式,本实施例中的展示方式可以为明文展示,或者还可以为脱敏处理之后展示。
198.比如说第一用户的用户等级没有超出第一字段对应的安全等级,则表示当前用户的权限是可以直接查看第一字段的数据的,则展示方式例如可以为明文展示。或者,比如说第一用户的用户等级是超出了第一字段对应的安全等级,则表示当前用户不能直接查看第一字段的数据,则展示方式例如也为脱敏处理后展示。
199.以及实际实现过程中,具体的脱敏处理的实现可以根据实际需求进行选择和设置,比如说可以包括替换、混淆、遮挡等处理方式,本实施例对此不做限制。
200.6、在确定展示方式之后就可以根据第一字段数据得到目标字段数据,然后向查询组件返回目标字段数据,然后查询组件就可以将目标字段数据提供给客户端进行展示。至此就完成了数据的查询操作,在中间灵活有效的实现了数据保护的操作。
201.在确定第一字段对应的展示方式之后,就可以根据第一字段对应的展示方式以及查询到的第一字段数据,生成需要展示的目标字段数据,其中目标字段数据中例如可以包
括部分脱敏处理后的第一字段数据,以及还可以包括部分未脱敏处理的第一字段数据,之后可以将目标字段数据发送给客户端,以使得客户端对目标字段数据进行展示。
202.之后可以将得到的目标字段数据发送给客户端,以使得客户端可以将目标字段数据处理给用户,那么对于用户来说,用户就可以查看自己所需要获取的数据,这些数据可以是直接展示,也可以是脱敏处理后展示,其取决于用户的用户等级和当前查看数据的字段的安全等级。
203.以及通过将第一字段对应的安全等级和第一用户的用户等级进行比较,来确定当前针对第一字段数据是直接进行明文展示还是脱敏处理后展示,从而可以实现根据当前数据的实际保护需求以及用户的实际访问权限,来确定具体的数据访问方式,从而可以有效的实现对数据保护的灵活处理。
204.图14为本技术实施例提供的数据处理装置的结构示意图。如图14所示,该装置140包括:第一获取模块1401、第二获取模块1402、确定模块1403。
205.第一获取模块1401,用于获取至少一个预设规则,其中,各所述预设规则对应各自的安全等级;
206.第二获取模块1402,用于获取待识别的第一字段,所述第一字段中包括多个字段数据;
207.确定模块1403,用于根据所述至少一个预设规则和所述第一字段中的字段数据进行匹配,确定所述第一字段对应的目标安全等级。
208.在一种可能的设计中,所述确定模块1403具体用于:
209.在第一字段的多个字段数据中,获取第一预设数量个待匹配字段数据;
210.根据所述第一预设数量个待匹配字段数据,在所述至少一个预设规则中确定与所述第一字段匹配的目标规则;
211.根据所述目标规则对应的安全等级,确定所述第一字段对应的目标安全等级。
212.在一种可能的设计中,针对任一个所述预设规则,所述预设规则中包括预设正则表达式;
213.所述确定模块1403具体用于:
214.获取所述预设规则中的预设正则表达式;
215.确定所述第一预设数量个待匹配字段数据和所述预设正则表达式的匹配结果,所述匹配结果为匹配成功或者匹配失败;
216.若匹配结果为匹配成功的待匹配字段数据的数量大于或等于第二预设数量,则将所述预设规则确定为所述目标规则,其中,所述第二预设数量小于或等于所述第一预设数量。
217.在一种可能的设计中,所述确定模块1403具体用于:
218.获取所述目标规则的数量;
219.若所述目标规则的数量为1,则将所述目标规则对应的安全等级确定为所述第一字段对应的安全等级;
220.若所述目标规则的数量大于1,则将所述目标规则对应的最大安全等级确定为所述第一字段对应的安全等级。
221.在一种可能的设计中,所述确定模块1403还用于:
222.在所述确定所述第一字段对应的目标安全等级之后,以预设时长为周期,定时更新所述第一字段对应的目标安全等级。
223.在一种可能的设计中,所述第一字段的字段消息存储在字段消息队列中,所述字段消息用于指示识别所述第一字段的安全等级;所述第二获取模块1402具体用于:
224.扫描所述字段消息队列,根据所述字段消息队列中的第一字段的字段消息,获取所述第一字段;或者,
225.根据接收的数据查询请求,获取所述第一字段,其中,所述数据查询请求中包括待查询的目标字段数据,所述目标字段数据属于所述第一字段。
226.在一种可能的设计中,所述第一字段属于第一表格,所述第一表格属于第一数据库;所述第一表格的表格消息存储在表格消息队列中,所述表格消息用于指示识别所述第一表格中各个字段的安全等级;所述第一数据库的数据库消息存储在数据库消息队列中,所述数据库消息用于指示识别所述第一数据库中的各个字段的安全等级;
227.所述第二获取模块1402还用于:
228.在所述扫描所述字段消息队列,根据所述字段消息队列中的第一字段的字段消息,获取所述第一字段之前,
229.获取待扫描的至少一个数据库,将各所述数据库各自的数据库消息存储至所述数据库消息队列中;
230.以及,扫描所述数据库消息队列,根据所述数据库消息队列中的第一数据库的数据库消息,获取所述第一数据库中待扫描的至少一个表格,并将各所述表格各自对应的表格消息存储至表格消息队列中;
231.以及,扫描所述表格消息队列,根据所述表格消息队列中的第一表格的表格消息,获取所述第一表格中待扫描的至少一个字段,并将各所述字段各自对应的字段消息存储至所述字段消息队列中。
232.本实施例提供的装置,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
233.图15为本技术实施例提供的数据处理设备的硬件结构示意图,如图15所示,本实施例的数据处理设备150包括:处理器1501以及存储器1502;其中
234.存储器1502,用于存储计算机执行指令;
235.处理器1501,用于执行存储器存储的计算机执行指令,以实现上述实施例中数据处理方法所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
236.可选地,存储器1502既可以是独立的,也可以跟处理器1501集成在一起。
237.当存储器1502独立设置时,该数据处理设备还包括总线1503,用于连接所述存储器1502和处理器1501。
238.本技术实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上数据处理设备所执行的数据处理方法。
239.在本技术所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者
可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
240.上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本技术各个实施例所述方法的部分步骤。
241.应理解,上述处理器可以是中央处理单元(英文:central processing unit,简称:cpu),还可以是其他通用处理器、数字信号处理器(英文:digital signal processor,简称:dsp)、专用集成电路(英文:application specific integrated circuit,简称:asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
242.存储器可能包含高速ram存储器,也可能还包括非易失性存储nvm,例如至少一个磁盘存储器,还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
243.总线可以是工业标准体系结构(industry standard architecture,isa)总线、外部设备互连(peripheral component,pci)总线或扩展工业标准体系结构(extended industry standard architecture,eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本技术附图中的总线并不限定仅有一根总线或一种类型的总线。
244.上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
245.本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
246.最后应说明的是:以上各实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述各实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
技术特征:
1.一种数据处理方法,其特征在于,包括:获取至少一个预设规则,其中,各所述预设规则对应各自的安全等级;获取待识别的第一字段,所述第一字段中包括多个字段数据;根据所述至少一个预设规则和所述第一字段中的字段数据进行匹配,确定所述第一字段对应的目标安全等级。2.根据权利要求1所述的方法,其特征在于,所述根据所述至少一个预设规则和所述第一字段中的字段数据进行匹配,确定所述第一字段对应的目标安全等级,包括:在第一字段的多个字段数据中,获取第一预设数量个待匹配字段数据;根据所述第一预设数量个待匹配字段数据,在所述至少一个预设规则中确定与所述第一字段匹配的目标规则;根据所述目标规则对应的安全等级,确定所述第一字段对应的目标安全等级。3.根据权利要求2所述的方法,其特征在于,针对任一个所述预设规则,所述预设规则中包括预设正则表达式;所述根据所述第一预设数量个待匹配字段数据,在所述至少一个预设规则中确定与所述第一字段匹配的目标规则,包括:获取所述预设规则中的预设正则表达式;确定所述第一预设数量个待匹配字段数据和所述预设正则表达式的匹配结果,所述匹配结果为匹配成功或者匹配失败;若匹配结果为匹配成功的待匹配字段数据的数量大于或等于第二预设数量,则将所述预设规则确定为所述目标规则,其中,所述第二预设数量小于或等于所述第一预设数量。4.根据权利要求2或3所述的方法,其特征在于,所述根据所述目标规则对应的安全等级,确定所述第一字段对应的目标安全等级,包括:获取所述目标规则的数量;若所述目标规则的数量为1,则将所述目标规则对应的安全等级确定为所述第一字段对应的安全等级;若所述目标规则的数量大于1,则将所述目标规则对应的最大安全等级确定为所述第一字段对应的安全等级。5.根据权利要求1-4任一项所述的方法,其特征在于,所述确定所述第一字段对应的目标安全等级之后,所述方法还包括:以预设时长为周期,定时更新所述第一字段对应的目标安全等级。6.根据权利要求1-5任一项所述的方法,其特征在于,所述第一字段的字段消息存储在字段消息队列中,所述字段消息用于指示识别所述第一字段的安全等级;所述获取待识别的第一字段,包括:扫描所述字段消息队列,根据所述字段消息队列中的第一字段的字段消息,获取所述第一字段;或者,根据接收的数据查询请求,获取所述第一字段,其中,所述数据查询请求中包括待查询的目标字段数据,所述目标字段数据属于所述第一字段。7.根据权利要求6所述的方法,其特征在于,所述第一字段属于第一表格,所述第一表格属于第一数据库;所述第一表格的表格消息存储在表格消息队列中,所述表格消息用于
指示识别所述第一表格中各个字段的安全等级;所述第一数据库的数据库消息存储在数据库消息队列中,所述数据库消息用于指示识别所述第一数据库中的各个字段的安全等级;所述扫描所述字段消息队列,根据所述字段消息队列中的第一字段的字段消息,获取所述第一字段之前,所述方法还包括:获取待扫描的至少一个数据库,将各所述数据库各自的数据库消息存储至所述数据库消息队列中;以及,扫描所述数据库消息队列,根据所述数据库消息队列中的第一数据库的数据库消息,获取所述第一数据库中待扫描的至少一个表格,并将各所述表格各自对应的表格消息存储至表格消息队列中;以及,扫描所述表格消息队列,根据所述表格消息队列中的第一表格的表格消息,获取所述第一表格中待扫描的至少一个字段,并将各所述字段各自对应的字段消息存储至所述字段消息队列中。8.一种数据处理装置,其特征在于,包括:第一获取模块,用于获取至少一个预设规则,其中,各所述预设规则对应各自的安全等级;第二获取模块,用于获取待识别的第一字段,所述第一字段中包括多个字段数据;确定模块,用于根据所述至少一个预设规则和所述第一字段中的字段数据进行匹配,确定所述第一字段对应的目标安全等级。9.根据权利要求8所述的装置,其特征在于,所述确定模块具体用于:在第一字段的多个字段数据中,获取第一预设数量个待匹配字段数据;根据所述第一预设数量个待匹配字段数据,在所述至少一个预设规则中确定与所述第一字段匹配的目标规则;根据所述目标规则对应的安全等级,确定所述第一字段对应的目标安全等级。10.根据权利要求9所述的装置,其特征在于,针对任一个所述预设规则,所述预设规则中包括预设正则表达式;所述确定模块具体用于:获取所述预设规则中的预设正则表达式;确定所述第一预设数量个待匹配字段数据和所述预设正则表达式的匹配结果,所述匹配结果为匹配成功或者匹配失败;若匹配结果为匹配成功的待匹配字段数据的数量大于或等于第二预设数量,则将所述预设规则确定为所述目标规则,其中,所述第二预设数量小于或等于所述第一预设数量。11.根据权利要求9或10所述的装置,其特征在于,所述确定模块具体用于:获取所述目标规则的数量;若所述目标规则的数量为1,则将所述目标规则对应的安全等级确定为所述第一字段对应的安全等级;若所述目标规则的数量大于1,则将所述目标规则对应的最大安全等级确定为所述第一字段对应的安全等级。12.根据权利要求8-11任一项所述的装置,其特征在于,所述确定模块还用于:在所述确定所述第一字段对应的目标安全等级之后,以预设时长为周期,定时更新所
述第一字段对应的目标安全等级。13.根据权利要求8-12任一项所述的装置,其特征在于,所述第一字段的字段消息存储在字段消息队列中,所述字段消息用于指示识别所述第一字段的安全等级;所述第二获取模块具体用于:扫描所述字段消息队列,根据所述字段消息队列中的第一字段的字段消息,获取所述第一字段;或者,根据接收的数据查询请求,获取所述第一字段,其中,所述数据查询请求中包括待查询的目标字段数据,所述目标字段数据属于所述第一字段。14.根据权利要求13所述的装置,其特征在于,所述第一字段属于第一表格,所述第一表格属于第一数据库;所述第一表格的表格消息存储在表格消息队列中,所述表格消息用于指示识别所述第一表格中各个字段的安全等级;所述第一数据库的数据库消息存储在数据库消息队列中,所述数据库消息用于指示识别所述第一数据库中的各个字段的安全等级;所述第二获取模块还用于:在所述扫描所述字段消息队列,根据所述字段消息队列中的第一字段的字段消息,获取所述第一字段之前,获取待扫描的至少一个数据库,将各所述数据库各自的数据库消息存储至所述数据库消息队列中;以及,扫描所述数据库消息队列,根据所述数据库消息队列中的第一数据库的数据库消息,获取所述第一数据库中待扫描的至少一个表格,并将各所述表格各自对应的表格消息存储至表格消息队列中;以及,扫描所述表格消息队列,根据所述表格消息队列中的第一表格的表格消息,获取所述第一表格中待扫描的至少一个字段,并将各所述字段各自对应的字段消息存储至所述字段消息队列中。15.一种数据处理设备,其特征在于,包括:存储器,用于存储程序;处理器,用于执行所述存储器存储的所述程序,当所述程序被执行时,所述处理器用于执行如权利要求1至7中任一所述的方法。16.一种计算机可读存储介质,其特征在于,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至7中任一所述的方法。17.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一所述的方法。
技术总结
本申请实施例提供一种数据处理方法及装置,该方法包括:获取至少一个预设规则,其中,各预设规则对应各自的安全等级。获取待识别的第一字段,第一字段中包括多个字段数据。根据至少一个预设规则和第一字段中的字段数据,确定第一字段对应的目标安全等级。通过获取预设配置的多个预设规则,以及获取当前需要识别安全等级的第一字段,之后在至少一个预设规则中确定和第一字段的字段数据所匹配的预设规则,因为每一个预设规则都是对应各自的安全等级的,因此可以根据匹配的预设规则确定第一字段的预设规则,进而可以有效并快速的实现自动确定字段的安全等级,以有效提升确定数据安全等级的效率。级的效率。级的效率。
技术研发人员:王伟杰 黄记新 王幼芝
受保护的技术使用者:建信金融科技有限责任公司
技术研发日:2021.12.03
技术公布日:2022/3/8