一种数据管理系统、方法、电子设备以及存储介质与流程

1.本技术涉及数据管理领域，具体而言，涉及一种数据管理系统、方法、电子设备以及计算机可读存储介质用于对日志数据进行管理。


背景技术：

2.在当前的大数据时代，日志作为存储数据信息的重要平台，其数据在数据分析和数据挖掘中具有显著作用，因而众多单位都会使用日志来作为工作数据存储的平台。当前市面上使用最多的日志平台是以elk架构为基础的，基于此架构所建立的日志平台，可以对数据进行处理，可以为用户海量数据的存储提供较大支持，且其在查询功能上的表现也较为强大，同时可视化的操作界面也为用户的操作提供了便利，此外也提供了相应的接口服务。
3.在上述技术方案中，一方面，方案所基于的elk架构，读写频繁且对内存的消耗巨大，其运行对于服务器的要求较高，费用花销高；第二方面，上述方案的查询功能，没有根据用户的不同来针对性设置权限机制，用户只能进行全局的搜索，没有个性化的权限机制，用户可能看到本应属于其他用户权限内的日志数据，因而具有信息安全问题的风险。


技术实现要素：

4.本技术实施例的目的在于提供一种数据管理系统，用以解决现有日志数据管理平台数据读写速率与存储经济成本之间难以平衡以及日志数据存储权限管控具有风险的缺陷。
5.为了实现上述目的，本技术实施例所提供的技术方案如下所示：
6.第一方面，本技术实施例提供一种数据管理系统。
7.本技术第一方面的实施例提供一种数据管理系统，所述数据管理系统包括：数据接收与存储模块，用于接收输入的日志数据，将所述日志数据存储至高速率存取模块，并在存储所述日志数据时标记存储时间；数据管理模块，用于判断当前时间与所述日志数据的存储时间之间的时间长度是否大于预设阈值，若大于，则将所述日志数据迁移存储至普通速率存取模块；以及数据查询模块，用于对已存储的已有日志数据进行查询，其中所述已有的日志数据包括存储在高速率存取模块和普通速率存取模块上的日志数据。用以解决现有日志管理系统对高速率读取与其伴随的高成本难以平衡，且现有日志管理系统查询功能较为简单的问题。
8.在本实施例中，数据接收与存储模块首先接收输入的日志数据，相关的日志数据是来自于工作业务中所产生的相关日志数据记录，这些业务中的数据与所述数据接收与存储模块进行对接，实现日志数据的接收。数据接收与存储模块在接收日志数据后，需要将对应数据进行存储，对于刚由数据接收与存储模块接收的数据，在此阶段被存储至高速率存储模块，所述高速率存储模块的特点在于其读写速率快，可以有效解决io瓶颈问题，但其缺点在于对于费用的耗费较高。当数据被存储在了高速率存取模块后，数据接收与存储模块
执行时间标记操作，记录下对应数据的存储时间。数据管理模块执行判断工作，对由数据接收与存储模块记录下的存储时间进行判断，在判断之前，数据管理模块预设有相关存储模块的存储时间阈值，数据管理模块将此存储时间阈值与数据接收与存储模块记录的存储时间进行比对，判断存储时间长度是否已经大于相关时间阈值。若判断结果为是，则数据管理模块执行下一步操作，将对应的日志数据迁移到普通速率存取模块进行存储，普通速率存储模块的读写速率相比高速率存取模块而言显著较慢，但其存储容量较大，适合存储大量的数据，同时其对费用的耗费较低。日志数据完成存储后，由数据查询模块提供相应的查询支持，相应的日志数据只要被存储在了本方案所述的数据管理系统中，无论是存储时间还小于预设存储时间阈值而被存储在高速率存取模块的日志数据，还是存储时间已大于预设存储时间阈值而被迁移到普通速率存取模块的日志数据，均可由数据查询模块查询。
9.进一步地，所述数据接收与存储模块在接收输入的日志数据时，按照预设的模板接收所述日志数据。
10.在本实施例中，日志内容格式在被本方案的数据管理系统接收时，需要被统一，数据接收与存储模块提供预设的内容格式模板，所述的日志数据按照此模板对数据管理系统进行输入并由数据接收与存储模块进行接收。本技术方案可以实现数据管理系统对日志数据的统一规划、收集和归档。
11.进一步地，所述数据接收与存储模块在接收输入的日志数据后，还用于根据所述日志数据判断与之相关的关键信息，并关联所述日志数据与所述关键信息；其中，所述关键信息包括：所述系统的运行状态信息以及所述日志数据记载的关键操作信息。
12.在本实施例中，数据接收与存储模块判断与之相关的关键信息，并将相关的关键信息与所述的日志数据相关联，关键信息有系统的运行状态信息和所述日志记载的关键操作信息。数据接收模块在接收到相应的日志数据后，在相应的日志数据中判断出其关键信息，并将关键信息与相应的日志数据进行关联。本技术方案可以使得日志数据的信息被准确识别，运行状态被所述数据管理系统所掌控，避免运行状态出现故障导致日志数据的存储出现异常。
13.进一步地，所述数据管理模块还用于对存储的日志数据进行权限划分，对欲查询日志数据的用户权限进行管理；其中对欲查询日志数据的用户权限进行管理时，所述数据管理模块具体用于：识别对欲查询日志数据的用户的身份信息；根据所识别的用户身份信息在所述数据管理系统中获取所述用户的权限信息；以及根据所述权限信息判断所述用户是否可以查询该日志数据。
14.在本实施例中，解决用户权限问题所带来的安全风险问题。所述数据管理模块，首先在相应数据库中进行权限划分，权限划分对不同的用户进行分组，不同分组之间拥有不同的日志数据查询权限，并根据权限划分的结果对用户查询进行管理。在用户查询的实际过程中，用户操作执行查询申请后，数据管理模块首先对执行查询申请的用户身份信息进行识别，随后数据管理模块将识别出的用户身份信息传递至所述数据管理系统，将所述用户身份信息与数据管理系统中的预设权限划分进行比对，获取对应用户的权限信息。当对应欲执行查询操作的用户权限信息被获取后，数据管理系统执行判断操作，根据用户权限信息判断对应用户是否可以查询其欲申请查询的日志数据。上述技术方案可以解决在没有个性化的权限机制的情况下，不同用户在其工作系统的人看到其他工作系统的用户的日志
数据的风险，保护日志数据的安全。
15.进一步地，所述数据管理系统还包括交互模块，所述交互模块用于协助用户与所述数据查询模块间的交互，在用户通过所述交互模块进行数据查询时，所述交互模块具体用于：协助用户对格式日志、非格式日志、以及关联日志的查询与导出；协助用户对日志信息进行多维度统计；以及协助用户根据日志细分类别进行风控统计。
16.在本实施例中，交互模块是作为用户与所述数据查询模块之间的媒介而存在，通过交互模块可以协助用户与所述数据查询模块之间的交互。用户对于数据查询模块的使用，除了通常的简单查询外，还包括了用户对于格式日志、非格式日志以及关联日志的查询和导出，交互模块协助用户与所述数据查询模块之间的交互，还体现在可以协助用户对日志信息进行多维度统计。交互模块协助用户与所述数据查询模块之间的交互，还体现在可以协助用户根据日志细分类别进行风控统计。本技术方案可以解决现有日志数据管理系统查询功能单一简略的问题，通过上述交互模块，可以对日志数据进行较为复杂的查询、导出和统计，使得存储的日志数据的特点和性质能够更清晰体现，同时也能协助用户对不同但相关的日志数据之间的横向对比和日志数据的整体情况了解。
17.进一步地，所述数据管理系统还包括监控报警模块，所述监控报警模块用于监控所述数据管理系统的运行状况，所述监控报警模块具体用于：对所述数据管理系统进行全时段报警，所述全时段报警包括每天24小时运用相同的报警规则进行监控报警；对所述数据管理系统进行分时段报警，所述分时段报警包括每天根据时段的不同采用不同的报警规则进行监控报警；以及对所述数据管理系统进行风控预警，所述风控预警包括根据风控类别推送相关预警信息至所述数据管理系统。
18.在本实施例中，数据管理系统还具备监控报警模块，可以对数据管理系统的运行状况进行监控并根据需要进行报警。报警是根据配置报警关键字，将符合配置信息的日志信息推送给相关的负责人。监控报警有全时段报警、分时段报警、以及风控预警等模式，全时段报警指的是在一天24小时中使用同一套报警的规则对所述日志管理系统进行监控；分时段报警指的是对日志的报警规则根据时间的不同进行划分，在不同的时间中使用不同的报警规则进行监控报警；风控预警指的是预设预警规则，系统根据预设细分的风控类别推送预警信息。本技术方案可以解决数据管理系统中的日志中出现需要被用户关注的关键字但用户未能及时处理的问题，监控报警模块对日志关键字进行监控后及时报警提醒相关用户，有助于提高关键问题的处理速度，而且按照不同的时间段来设置报警规则，能够使关键词的监控更加精准，此外，对风险进行分类别报警监控，也能够使日志数据中所反映出的问题被准确快速找到。
19.进一步地，所述数据接收与存储模块在接收输入的日志数据时，具体用于：与业务系统之间通过日志收集工具进行对接或推送接口直接进行对接。
20.在本实施例中，业务系统指的是用户在日常工作处理业务中所使用的相关系统，用户工作处理中的业务系统与所述数据管理系统直接的对接方式主要有两种，一种是日志收集工具，另一种是推送接口的直接对接。本技术方案可以提供多元化的用户系统与本方案所涉及的数据管理系统的对接方式，使得数据的对接场景更丰富。
21.第二方面，本技术实施例提供一种数据管理方法，所述方法应用于数据管理系统，所述方法包括：接收输入的日志数据，将所述日志数据存储至高速率存取模块，并在存储所
述日志数据时标记存储时间；判断当前时间和所述日志数据的存储时间之间的时间长度是否大于预设阈值，若大于，则将所述日志数据迁移存储至普通速率存取模块；以及对已存储的已有日志数据进行查询，其中所述已有的日志数据包括存储在高速率存取模块和普通速率存取模块上的日志数据。
22.在本数据管理方法中，首先接收输入的日志数据，相关的日志数据是来自于工作业务中所产生的相关日志数据记录，这些业务中的数据与所述数据接收与数据管理系统进行对接，实现日志数据的接收。在接收日志数据后，需要将对应数据进行存储，对于刚由系统接收的数据，在此阶段被存储至高速率存储模块，所述高速率存储模块的特点在于其读写速率快，可以有效解决io瓶颈问题，但其缺点在于对于费用的耗费较高。当数据被存储在了高速率存取模块后，数据管理系统执行时间标记操作，记录下对应数据的存储时间。随后数据管理系统执行判断工作，对记录下的存储时间进行判断，在判断之前，系统预设有相关存储模块的存储时间阈值，数据管理系统将此存储时间阈值与记录的存储时间进行比对，判断存储时间长度是否已经大于相关时间阈值，若判断结果为是，则执行下一步操作，将对应的日志数据迁移到普通速率存取模块进行存储，所述普通速率存储模块的读写速率相比高速率存取模块而言显著较慢，但其存储容量较大，适合存储大量的数据，同时其对费用的耗费较低。日志数据完成存储后，由数据管理系统还提供相应的查询支持，相应的日志数据只要被存储在了本方案所述的数据管理系统中，无论是存储时间还小于预设存储时间阈值而被存储在高速率存取模块的日志数据，还是存储时间已大于预设存储时间阈值而被迁移到普通速率存取模块的日志数据，均可由数据查询模块查询。
23.进一步地，所述方法还包括，在接收输入的日志数据时，按照预设的模板接收所述日志数据。
24.在本实施例中，日志内容格式在被本方案的数据管理系统接收时，需要被统一，数据管理系统提供预设的内容格式模板，所述的日志数据按照此模板对数据管理系统进行输入并进行接收。本技术方案可以实现数据管理系统对日志数据的统一规划、收集和归档。
25.进一步地，所述方法应用于数据管理系统，在接收输入的日志数据后，还根据所述日志数据判断相关的关键信息，并关联所述日志数据与所述关键信息；其中，所述关键信息包括：所述系统的运行状态信息以及所述日志数据记载的关键操作信息。
26.在本实施例中，数据管理方法判断与之相关的关键信息，并将相关的关键信息与所述的日志数据相关联，关键信息有系统的运行状态信息和所述日志记载的关键操作信息。数据管理系统在接收到相应的日志数据后，在相应的日志数据中判断出其关键信息，并将关键信息与相应的日志数据进行关联。本技术方案可以使得日志数据的信息被准确识别，运行状态被所述数据管理系统所掌控，避免运行状态出现故障导致日志数据的存储出现异常。
27.进一步地，所述方法还包括，对存储的日志数据进行权限划分，对欲查询日志数据的用户权限进行管理；其中对欲查询日志数据的用户权限进行管理时，所述方法包括：识别对欲查询日志数据的用户的身份信息；根据所识别的用户身份信息在数据管理系统中获取所述用户的权限信息；以及根据所述权限信息判断所述用户是否可以查询该日志数据。
28.在本实施例中，可以解决用户权限问题所带来的安全风险问题。所述数据管理系统，首先在相应数据库中进行权限划分，权限划分对不同的用户进行分组，不同分组之间拥
有不同的日志数据查询权限，并根据权限划分的结果对用户查询进行管理。在用户查询的实际过程中，用户操作执行查询申请后，数据管理系统首先对执行查询申请的用户身份信息进行识别，随后数据管理系统将所述用户身份信息与数据管理系统中的预设权限划分进行比对，获取对应用户的权限信息。当对应欲执行查询操作的用户权限信息被获取后，数据管理系统执行判断操作，根据用户权限信息判断对应用户是否可以查询其欲申请查询的日志数据。上述技术方案可以解决在没有个性化的权限机制的情况下，不同用户在其工作系统的人看到其他工作系统的用户的日志数据的风险，保护日志数据的安全。
29.进一步地，所述方法还包括，用户与所述数据管理系统进行交互，在用户进行数据查询时，所述方法包括：实现用户协助用户对格式日志、非格式日志、以及关联日志的查询与导出；实现用户协助用户对日志信息进行多维度统计；以及实现用户协助用户根据日志细分类别进行风控统计。
30.在本实施例中，所述方法可以协助用户与所述数据管理系统之间的交互。用户对于数据管理系统的使用，除了通常的简单查询外，还包括了用户对于格式日志、非格式日志以及关联日志的查询和导出，用户与所述数据管理系统之间的交互，还体现在可以实现用户协助用户对日志信息进行多维度统计。用户与所述数据管理系统之间的交互，还体现在可以协助用户根据日志细分类别进行风控统计。本技术方案可以解决现有日志数据管理系统查询功能单一简略的问题，通过上述方法，可以对日志数据进行较为复杂的查询、导出和统计，使得存储的日志数据的特点和性质能够更清晰体现，同时也能实现用户协助用户对不同但相关的日志数据之间的横向对比和日志数据的整体情况了解。
31.进一步地，所述方法还包括：对所述数据管理系统进行全时段报警，所述全时段报警包括每天24小时运用相同的报警规则进行监控报警；对所述数据管理系统进行分时段报警，所述分时段报警包括每天根据时段的不同采用不同的报警规则进行监控报警；以及对所述数据管理系统进行风控预警，所述风控预警包括根据风控类别推送相关预警信息至所述数据管理系统。
32.在本实施例中，数据管理系统可以对数据管理系统的运行状况进行监控并根据需要进行报警。报警是根据配置报警关键字，将符合配置信息的日志信息推送给相关的负责人。监控报警有全时段报警、分时段报警、以及风控预警等模式，全时段报警指的是在一天24小时中使用同一套报警的规则对所述日志管理系统进行监控；分时段报警指的是对日志的报警规则根据时间的不同进行划分，在不同的时间中使用不同的报警规则进行监控报警；风控预警指的是预设预警规则，系统根据预设细分的风控类别推送预警信息。本技术方案可以解决数据管理系统中的日志中出现需要被用户关注的关键字但用户未能及时处理的问题，监控报警模块对日志关键字进行监控后及时报警提醒相关用户，有助于提高关键问题的处理速度，而且按照不同的时间段来设置报警规则，能够使关键词的监控更加精准，此外，对风险进行分类别报警监控，也能够使日志数据中所反映出的问题被准确快速找到。
33.进一步地，所述方法中在所述数据管理系统接收输入的日志数据时，接收方式包括：与业务系统之间通过日志收集工具进行对接或推送接口直接进行对接。
34.在本实施例中，业务系统指的是用户在日常工作处理业务中所使用的相关系统，用户工作处理中的业务系统与所述数据管理系统直接的对接方式主要有两种，一种是日志收集工具，另一种是推送接口的直接对接。本技术方案可以提供多元化的用户系统与本方
案所涉及的数据管理系统的对接方式，使得数据的对接场景更丰富。
35.第三方面，本技术实施例提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如第二方面中的方法。
36.第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第二方面中的方法。
37.为使本技术的上述目的、特征和优点能更明显易懂，下文特举本技术实施例，并配合所附附图，作详细说明如下。
附图说明
38.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
39.图1为本技术实施例提供的数据管理系统整体示意图；
40.图2为本技术实施例提供的数据管理模块的权限管理运用步骤示意图；
41.图3为本技术实施例提供的数据管理方法整体示意图；
42.图4为本技术的一个优选实施例中数据管理系统整体框架示意图；
43.图5为本技术的一个优选的个性化日志查询功能示意图；
44.图6为本技术的第二个优选的个性化日志查询功能示意图；
45.图7为本技术的第三个优选的个性化日志查询功能示意图；
46.图8为本技术的第四个优选的个性化日志查询功能示意图；
47.图9为本技术实施例提供的电子设备的结构示意图。
具体实施方式
48.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
49.图1为本技术实施例提供的数据管理系统的示意图。图1中示出了本技术所提供的技术方案的数据管理系统的系统图。在图1中，数据管理系统100包括：数据接收与存储模块101、数据管理模块102、数据查询模块103。
50.数据接收与存储模块101用于接收输入的日志数据，将所述日志数据存储至高速率存取模块，并在存储所述日志数据时标记存储时间。数据接收与存储模块接收到输入的日志数据，这里的日志数据输入可以是来自用户的手动输入，也可以是已编辑好的日志文件等由用户的工作业务系统中输入，数据接收与存储模块在接收到输入的日志数据后，对对应数据进行存储，本技术所涉及的数据管理系统的存储有高速率存取模块和普通速率存取模块，数据接收与存储模块在接收输入的日志数据后，将日志数据存储在高速率存取模块，高速率存取模块的高速率指的是存储的读写速率。
51.数据管理模块102用于判断当前时间与所述日志数据的存储时间之间的时间长度是否大于预设阈值，若大于，则将所述日志数据迁移存储至普通速率存取模块。普通速率存取模块的读写速率低于高速率存取模块，当数据被存储在了高速率存取模块后，数据接收
与存储模块执行时间标记操作。数据管理模块执行判断工作，对由数据接收与存储模块记录下的存储时间进行判断，数据管理模块将此存储时间阈值与数据接收与存储模块记录的存储时间进行比对，判断存储时间长度是否已经大于相关时间阈值，若判断结果为是，则数据管理模块执行下一步操作，将对应的日志数据迁移到普通速率存取模块进行存储。
52.数据查询模块103用于对已存储的已有日志数据进行查询，其中所述已有的日志数据包括存储在高速率存取模块和普通速率存取模块上的日志数据。日志数据完成存储后，由数据查询模块提供相应的查询支持，相应的日志数据只要被存储在了本方案所述的数据管理系统中，无论是存储时间还小于预设存储时间阈值而被存储在高速率存取模块的日志数据，还是存储时间已大于预设存储时间阈值而被迁移到普通速率存取模块的日志数据，均可由数据查询模块查询。
53.在一条优选的实施例中，数据管理系统中所采取的存储盘集群可进行选择，例如，采用闪盘es集群来作为本方案的高速率存储模块，采用普通机械盘es集群记录下对应数据的存储时间，闪盘es集群的读写速率较快，普通机械盘es集群读写速率较慢。在判断之前，数据管理模块预设有相关存储模块的存储时间阈值，这里的时间阈值与前述所选择采取的存储盘集群有关，若采取上述的闪盘es集群和普通机械盘es集群，则存储时间阈值可以设定为7天。
54.在一条优选的实施例中，数据接收与存储模块在接收日志数据时，对日志内容格式进行统一，数据接收与存储模块提供预设的内容格式模板，所述的日志数据按照此模板对数据管理系统进行输入并由数据接收与存储模块进行接收。
55.在一条优选的实施例中，数据接收与存储模块判断与之相关的关键信息并将相关的关键信息与所述的日志数据相关联，关键信息所包括的系统运行状态包括系统运行中的报错信息、时间信息以及业务流转是否正常等，关键信息所包括的所述日志数据记载的关键操作信息是日志用户在自己的日常业务系统中所遇到的自己的业务运行信息，例如单号、代码行数、业务开始标志、业务结束标志等可用于排查业务中所出现问题的信息。
56.图2为本技术实施例提供的数据管理模块的权限管理运用步骤示意图。
57.请参见图2，数据管理模块的权限管理运用步骤包括：
58.步骤201：识别对欲查询日志数据的用户的身份信息。
59.在步骤201的具体实施过程中，每一个访问日志系统的用户均有自身所具有的能准确与其他用户进行区分的识别信息，这样的识别信息在此称为身份信息。当访问数据管理系统的用户发出查询请求后，数据管理模块对发出查询请求的客户的身份信息进行识别，确定其身份。
60.步骤202：根据所识别的用户身份信息在所述数据管理系统中获取所述用户的权限信息。
61.在步骤202的具体实施过程中，提出对数据管理系统进行访问的用户所具备的身份信息被识别后，数据管理模块在数据库中将用户的身份信息与权限数据进行比对，找到用户身份信息所对应的权限分组，确定其权限信息。
62.步骤203：根据所述权限信息判断所述用户是否可以查询该日志数据。
63.在步骤203的具体实施过程中，用户的权限信息被确定后，数据管理模块会对用户欲访问的日志数据和其权限信息进行判断，若用户不具备其欲访问的日志数据的权限，则
数据管理模块拒绝其访问相关日志数据，若用户具备相关权限，则数据管理模块同意其访问。
64.在一个优选的实施例中，所述数据管理系统还包括交互模块。交互模块是作为用户与所述数据查询模块之间的媒介而存在，通过交互模块可以协助用户与所述数据查询模块之间的交互。用户对于数据查询模块的使用，除了通常的简单查询外，还包括了用户对于格式日志、非格式日志以及关联日志的查询和导出，格式日志指的是按照规定格式进行对接的日志，主要为应用日志；而非格式日志则是按照原有日志格式进行对接的日志，主要为系统日志；关联日志的查询和导出主要是应用于跨系统日志查询，便于对日志轨迹进行跟踪。交互模块协助用户与所述数据查询模块之间的交互，还体现在可以协助用户对日志信息进行多维度统计，所述多维度统计包括根据日志分项目进行统计展示，所分项目包括日志的类别、日志的系统、以及ip等信息。多维度统计还包括对统计图表导出的支持，统计图表包括柱状图、饼图、表格以及折线图等。交互模块协助用户与所述数据查询模块之间的交互，还体现在可以协助用户根据日志细分类别进行风控统计，这里的细分类别包括登录类日志、数据资产变更类日志、业务类日志、以及认证接口类日志等。
65.在一个优选的实施例中，数据管理系统还具备监控报警模块，可以对数据管理系统的运行状况进行监控并根据需要进行报警。报警是根据配置报警关键字，将符合配置信息的日志信息推送给相关的负责人。监控报警有全时段报警、分时段报警、以及风控预警等模式，全时段报警指的是在一天24小时中使用同一套报警的规则对所述日志管理系统进行监控；分时段报警指的是对日志的报警规则根据时间的不同进行划分，在不同的时间中使用不同的报警规则进行监控报警；风控预警指的是预设预警规则，系统根据预设细分的风控类别推送预警信息。
66.在一个优选实施例中，数据接收与存储模块在接收输入的日志数据时，具体用于：与业务系统之间通过日志收集工具进行对接或推送接口直接进行对接。在本实施例中，业务系统指的是用户在日常工作处理业务中所使用的相关系统，用户工作处理中的业务系统与所述数据管理系统直接的对接方式主要有两种，一种是日志收集工具，例如filebeat工具。另一种是推送接口的直接对接，可以采取双异步推送接口，采用异步接口的目的是在日志推送出现问题的情况下，也不影响业务系统的业务流程，例如利用http接口进行对接。
67.图3为本技术实施例提供的数据管理方法整体流程示意图。
68.步骤301：接收输入的日志数据，将所述日志数据存储至高速率存取模块，并在存储所述日志数据时标记存储时间。
69.在步骤301中，接收输入的日志数据，将所述日志数据存储至高速率存取模块，并在存储所述日志数据时标记存储时间。数据管理系统接收到输入的日志数据，这里的日志数据输入可以是来自用户的手动输入，也可以是已编辑好的日志文件等由用户的工作业务系统中输入，数据管理系统在接收到输入的日志数据后，对对应数据进行存储，本技术所涉及的数据管理系统的存储有高速率存取模块和普通速率存取模块，数据接收与存储模块在接收输入的日志数据后，将日志数据存储在高速率存取模块，高速率存取模块的高速率指的是存储的读写速率。
70.步骤302：判断当前时间和所述日志数据的存储时间之间的时间长度是否大于预设阈值，若大于，则将所述日志数据迁移存储至普通速率存取模块。
71.在步骤302中，判断当前时间与所述日志数据的存储时间之间的时间长度是否大于预设阈值，若大于，则将所述日志数据迁移存储至普通速率存取模块。普通速率存取模块的读写速率低于高速率存取模块，当数据被存储在了高速率存取模块后，数据管理系统执行时间标记操作。数据管理系统执行判断工作，对由数据接收与存储模块记录下的存储时间进行判断，数据管理系统将此存储时间阈值与数其记录的存储时间进行比对，判断存储时间长度是否已经大于相关时间阈值，若判断结果为是，则数据管理模块执行下一步操作，将对应的日志数据迁移到普通速率存取模块进行存储。
72.步骤303：对已存储的已有日志数据进行查询，其中所述已有的日志数据包括存储在高速率存取模块和普通速率存取模块上的日志数据。
73.在步骤303中，对已存储的已有日志数据进行查询，其中所述已有的日志数据包括存储在高速率存取模块和普通速率存取模块上的日志数据。日志数据完成存储后，数据查询系统提供相应的查询支持，相应的日志数据只要被存储在了本方案所述的数据管理系统中，无论是存储时间还小于预设存储时间阈值而被存储在高速率存取模块的日志数据，还是存储时间已大于预设存储时间阈值而被迁移到普通速率存取模块的日志数据，均可被查询。
74.在一个优选的实施例中，日志内容格式在被按照本方案的数据管理方法接收时，需要被统一，数据管理方法提供预设的内容格式模板，所述的日志数据按照此模板进行输入并被接收。
75.在一个优选的实施例中，数据管理方法判断与之相关的关键信息，并将相关的关键信息与所述的日志数据相关联，关键信息有系统的运行状态信息和所述日志记载的关键操作信息。数据管理方法在执行过程中，接收到相应的日志数据，在相应的日志数据中判断出其关键信息，并将关键信息与相应的日志数据进行关联。
76.在一个优选的实施例中，所述方法还包括，首先在相应数据库中进行权限划分，权限划分对不同的用户进行分组，不同分组之间拥有不同的日志数据查询权限，并根据权限划分的结果对用户查询进行管理。在用户查询的实际过程中，用户操作执行查询申请后，数据管理方法在执行中首先对执行查询申请的用户身份信息进行识别，随后将所述用户身份信息与预设权限划分进行比对，获取对应用户的权限信息。当对应欲执行查询操作的用户权限信息被获取后，按照数据管理方法执行判断操作，根据用户权限信息判断对应用户是否可以查询其欲申请查询的日志数据。
77.在一个优选的实施例中，所述方法可以协助用户与所述数据管理系统之间的交互。用户对于数据管理系统的使用，除了通常的简单查询外，还包括了用户对于格式日志、非格式日志以及关联日志的查询和导出，用户与所述数据管理系统之间的交互，还体现在可以实现用户协助用户对日志信息进行多维度统计。用户与所述数据管理系统之间的交互，还体现在可以协助用户根据日志细分类别进行风控统计。
78.在一个优选的实施例中，所述方法还包括对数据管理系统的运行状况进行监控并根据需要进行报警。报警是根据配置报警关键字，将符合配置信息的日志信息推送给相关的负责人。监控报警有全时段报警、分时段报警、以及风控预警等模式，全时段报警指的是在一天24小时中使用同一套报警的规则对所述日志管理系统进行监控；分时段报警指的是对日志的报警规则根据时间的不同进行划分，在不同的时间中使用不同的报警规则进行监
控报警；风控预警指的是预设预警规则，系统根据预设细分的风控类别推送预警信息。
79.在一个优选的实施例中，业务系统作为用户在日常工作处理业务中所使用的相关系统，在所述方法下其与所述数据管理系统直接的对接方式主要有两种，一种是日志收集工具，另一种是推送接口的直接对接。
80.图4为本技术的一个优选实施例中数据管理系统的整体框架示意图。
81.请参见图4，业务系统使所述数据管理系统的用户在日常工作业务开展中所使用的各种各样的系统，用户在相应的系统上编辑并输入基础日志数据，随后业务系统上的日志数据与本方案所涉及的数据管理系统进行对接。日志数据首先进入kafka集群，kafka集群可以承载高吞吐量的消息队列，可以对日志数据进行数据的有效缓冲。然后日志数据经过logstash进行数据的拼接及格式化处理，然后全部进入闪盘es集群，闪盘es集群读写速率快。日志数据在该闪盘es集群只保存近7天，超过7天后的日志数据，则在第8天在闲时(凌晨)定时迁移保存到普通机械es盘集群，普通机械es盘集群读写速率较慢，但其可以存储大量数据。随后在定制的查询系统中，查询系统可以对存储在上述两个集群的数据进行多集群联合查询，实现实时查看。
82.图5为本技术的一个优选的个性化日志查询功能示意图。
83.请参见图5，图5为当天分时段日志数量，可以看到，所述交互模块，用于实现用户对日志信息进行多维度统计，用户通过所述交互模块，实现与数据管理系统的交互，图5中所示出的交互体现在对数据管理系统的查询功能上，通过所述数据管理系统的查询功能可以了解到一天中不同时段的日志数量情况。
84.图6为本技术的第二个优选的个性化日志查询功能示意图。
85.请参见图6，图6为以系统编码为维度分别统计当天的日志数量，图为日志数量排名前十的系统。可以看到，所述交互模块，用于实现用户对日志信息进行多维度统计，用户通过所述交互模块，实现与数据管理系统的交互，图6中所示出的交互体现在对数据管理系统的查询功能上，通过所述数据管理系统的查询功能，可以根据不同编码的日志数量，用户可以对各类编码下的日志数量进行对比分析。
86.图7为本技术的第三个优选的个性化日志查询功能示意图。
87.请参见图7，图7为以服务器ip为维度分别统计当天的日志数量，图为日志数量排名前十的服务器ip。所述交互模块，用于实现用户对日志信息进行多维度统计，用户通过所述交互模块，实现与数据管理系统的交互，图7中所示出的交互体现在对数据管理系统的查询功能上，通过所述数据管理系统的查询功能，可以对不同ip下的日志数量进行对比分析。
88.图8为本技术的第四个优选的个性化日志查询功能示意图。
89.请参见图8，图8为以日志级别为维度分别统计当天的日志数量。所述交互模块，用于实现用户对日志信息进行多维度统计，用户通过所述交互模块，实现与数据管理系统的交互，图8中所示出的交互体现在对数据管理系统的查询功能上，通过所述数据管理系统的查询功能，可以对不同级别日志所占当天日志的比例有直观掌握。
90.请参见图9，图9示出的本技术实施例提供的电子设备的结构示意图。本技术实施例提供的一种电子设备900，包括：处理器901和存储器902，存储器902存储有处理器901可执行的机器可读指令，机器可读指令被处理器901执行时执行如上的方法。
91.例如，本技术实施例的处理器901通过通信总线从存储器902读取计算机程序并执
行该计算机程序可以实现如下方法：一种数据管理方法。在一些示例中，处理器901还可以对配置项进行更新，也就是说，可以执行如下步骤：接收输入的日志数据，将所述日志数据存储至高速率存取模块，并在存储所述日志数据时标记存储时间；判断当前时间和所述日志数据的存储时间之间的时间长度是否大于预设阈值，若大于，则将所述日志数据迁移存储至普通速率存取模块；以及对已存储的已有日志数据进行查询，其中所述已有的日志数据包括存储在高速率存取模块和普通速率存取模块上的日志数据。
92.处理器901可以是一种集成电路芯片，具有信号处理能力。上述处理器901可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本技术实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
93.存储器902可以包括但不限于随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。
94.可以理解，图9所示的结构仅为示意，电子设备900还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。图9中所示的各组件可以采用硬件、软件或其组合实现。于本技术实施例中，电子设备900可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。另外，电子设备900也不一定是单台设备，还可以是多台设备的组合，例如服务器集群，等等。于本技术实施例中，一种拍摄车辆的方法中的服务器可以采用图9示出的电子设备900实现。
95.本技术实施例还提供一种计算机可读存储介质，包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述实施例中一种数据管理方法的步骤，例如包括：接收输入的日志数据，将所述日志数据存储至高速率存取模块，并在存储所述日志数据时标记存储时间；判断当前时间和所述日志数据的存储时间之间的时间长度是否大于预设阈值，若大于，则将所述日志数据迁移存储至普通速率存取模块；以及对已存储的已有日志数据进行查询，其中所述已有的日志数据包括存储在高速率存取模块和普通速率存取模块上的日志数据。
96.在本技术所提供的实施例中，应该理解到，所公开的系统和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
97.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的
目的。
98.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
99.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
100.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种数据管理系统，其特征在于，所述数据管理系统包括：数据接收与存储模块，用于接收输入的日志数据，将所述日志数据存储至高速率存取模块，并在存储所述日志数据时标记存储时间；数据管理模块，用于判断当前时间与所述日志数据的存储时间之间的时间长度是否大于预设阈值，若大于，则将所述日志数据迁移存储至普通速率存取模块；以及数据查询模块，用于对已存储的已有日志数据进行查询，其中所述已有的日志数据包括存储在高速率存取模块和普通速率存取模块上的日志数据。2.根据权利要求1所述的数据管理系统，其特征在于，所述数据接收与存储模块在接收输入的日志数据时，按照预设的模板接收所述日志数据。3.根据权利要求1所述的数据管理系统，其特征在于，所述数据接收与存储模块在接收输入的日志数据后，还用于根据所述日志数据判断与之相关的关键信息，并关联所述日志数据与所述关键信息；其中，所述关键信息包括：所述系统的运行状态信息以及所述日志数据记载的关键操作信息。4.根据权利要求1所述的数据管理系统，其特征在于，所述数据管理模块还用于对存储的日志数据进行权限划分，以及对欲查询日志数据的用户权限进行管理；其中对欲查询日志数据的用户权限进行管理时，所述数据管理模块具体用于：识别对欲查询日志数据的用户的身份信息；根据所识别的用户身份信息在所述数据管理系统中获取所述用户的权限信息；以及根据所述权限信息判断所述用户是否可以查询该日志数据。5.根据权利要求1所述的数据管理系统，其特征在于，所述数据管理系统还包括交互模块，所述交互模块用于协助用户与所述数据查询模块间的交互，在用户通过所述交互模块进行数据查询时，所述交互模块具体用于：协助用户对格式日志、非格式日志、以及关联日志的查询与导出；协助用户对日志信息进行多维度统计；以及协助用户根据日志细分类别进行风控统计。6.根据权利要求1所述的数据管理系统，其特征在于，所述数据管理系统还包括监控报警模块，所述监控报警模块用于监控所述数据管理系统的运行状况，所述监控报警模块具体用于：对所述数据管理系统进行全时段报警，所述全时段报警包括每天24小时运用相同的报警规则进行监控报警；对所述数据管理系统进行分时段报警，所述分时段报警包括每天根据时段的不同采用不同的报警规则进行监控报警；以及对所述数据管理系统进行风控预警，所述风控预警包括根据风控类别推送相关预警信息至所述数据管理系统。7.根据权利要求1所述的数据管理系统，其特征在于，所述数据接收与存储模块在接收输入的日志数据时，具体用于：与业务系统之间通过日志收集工具进行对接或推送接口直接进行对接。8.一种数据管理方法，其特征在于，所述方法应用于数据管理系统，所述方法包括：接收输入的日志数据，将所述日志数据存储至高速率存取模块，并在存储所述日志数
据时标记存储时间；判断当前时间和所述日志数据的存储时间之间的时间长度是否大于预设阈值，若大于，则将所述日志数据迁移存储至普通速率存取模块；以及对已存储的已有日志数据进行查询，其中所述已有的日志数据包括存储在高速率存取模块和普通速率存取模块上的日志数据。9.一种电子设备，其特征在于，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求8所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求8所述的方法。

技术总结
本申请提供一种数据管理系统、方法、电子设备以及存储介质，所述数据管理系统包括：数据接收与存储模块，用于接收输入的日志数据，将所述日志数据存储至高速率存取模块，并在存储所述日志数据时标记存储时间；数据管理模块，用于判断当前时间与所述日志数据的存储时间之间的时间长度是否大于预设阈值，若大于，则将所述日志数据迁移存储至普通速率存取模块；以及数据查询模块，用于对已存储的已有日志数据进行查询，其中所述已有的日志数据包括存储在高速率存取模块和普通速率存取模块上的日志数据。用以解决现有日志管理系统对高速率读取与其伴随的高成本难以平衡，且现有日志管理系统查询功能较为简单的问题。管理系统查询功能较为简单的问题。管理系统查询功能较为简单的问题。


技术研发人员：于连军 刘丽婷 薛谦
受保护的技术使用者：金生无忧信息技术有限责任公司
技术研发日：2021.12.03
技术公布日：2022/3/8