一种快速提取告警方法及系统与流程

1.本发明涉及大数据计算机处理领域，具体提供一种快速提取告警方法及系统。


背景技术：

2.greenplum主要定位在olap领域，利用greenplum mpp数据库做大数据计算或分析平台非常适合，例如:数据仓库系统、ods系统、acrm系统、历史数据管理系统、电信流量分析系统、移动信令分析系统、sandbox自助分析沙箱、数据集市等等。
3.而mpp数据库都不擅长做oltp交易系统，所谓交易系统，就是高频的交易型小规模数据插入、修改、删除，每次事务处理的数据量不大，但每秒钟都会发生几十次甚至几百次以上交易型事务，这类系统的衡量指标是tps，适用的系统是oltp数据库或类似gemfire的内存数据库。
4.针对快速提取告警的迫切需求，先尝试用传统方法解决：目前告警数据库为双节点数据库服务器互备，对内存进行扩容后发现，压缩告警的提取时长同时会导致数据库服务器cpu利用率突增，该原始方式并不能解决问题。
5.针对运营商4g、5g、家庭客户、集团客户业务大量增长，产生巨大的告警数据，每日以tb级增加，导致提取告警耗时月均50多个个小时。现有平台的所用到的告警提取方式已远不能满足用户的使用场景需要，亟需找寻一种全新快速提取告警的方式。


技术实现要素：

6.本发明是针对上述现有技术的不足，提供一种实用性强的快速提取告警方法。
7.本发明进一步的技术任务是提供一种设计合理，安全适用的速提取告警系统。
8.本发明解决其技术问题所采用的技术方案是：
9.一种快速提取告警方法，具有如下步骤:
10.s1、使用实时接口消息队列接入告警数据，定义通信协议规范、接口路径规范；
11.s2、制定双方系统配合接入的告警接口规范；
12.s3、数据传送方收到告警后，对数据做初步处理；
13.s4、数据接收方读取告警消息；
14.s5、在新的segment主机上创建了数据库和数据库对象；
15.s6、在每个segment节点运行并行处理mpp；
16.s7、采用api接口封装和调用；
17.s8、告警分布式数据文件生成及展示；
18.s9、在目标库中设置数据开放定时器。
19.进一步的，在步骤s1中，使用实时接口消息队列接入告警数据，定义通信协议规范、接口路径规范，数据来源和接收系统共同部署环境调测，接口形式既可统计历史告警，又可查看实时告警变化。
20.进一步的，在步骤s2中，制定双方系统配合接入的告警接口规范，包括与通信协议
规范、接口路径规范、接口命名规范、请求参数以及返回数据规范，同时约定接口内容。
21.进一步的，在步骤s3中，按接口规范约定内容生成对应告警消息发送至消息队列，将成功发送到消息队列的消息存储在消息生产者服务器上，给数据接收方发送指令，等待数据被消费。
22.进一步的，在步骤s4中，数据接收方接收到指令后读取消息队列中的告警消息，将获取到的消息写入数据库，告警消息被接收方服务器处理后，删除存储在消息生产者服务器上的消息。
23.进一步的，在步骤s5中，硬件要求6核cpu,内存20gb,硬盘80g，采用服务器扩充mpp集群，提供gp库节点，安装greenplum数据库软件，并在新的segment主机上创建了数据库和数据库对象；
24.将要运算的接口数据在数据库中加工处理汇总成模型，抽取模型同步至系统后定义为资产，资产发布后注册成api接口，提供接口规范；
25.最后，在master数据库中创建了一个扩展方案来控制扩展处理。
26.进一步的，在步骤s7中，采用api接口的封装和调用，接口数据在数据库中，前台申请api接口，通过审批后可查阅该api的调用方式及接口请求和返回的样例数据，查询数据时直接调用api接口，实时返回查询结果。
27.进一步的，在步骤s8中，告警分布式数据文件生成及展示，将汇总好的数据同步至关系型数据库，通过参数找到服务器上提前生成的数据文件，用户下载数据时不再根据查询语句生成数据文件，直接下载已有数据文件。
28.进一步的，在步骤s9中，在目标库中设置数据开放定时器，数据开放定时器调用数据开放功能，数据开放功能校验目标库中数据跟分布式系统中数据是否一致，如果数据一致，则将目标库中临时表数据转储到目标库表中，该过程记录数据开放日志；
29.当数据开放定时器校验数据不一致时，根据数据开放日志排查出原因，进行数据补救，在该补救过程中更新数据开放日志。
30.一种快速提取告警系统，使用计算机实时接口消息队列接入告警数据，定义通信协议规范、接口路径规范，制定双方系统配合接入的告警接口规范，数据传送方收到告警后，对数据做初步处理，数据接收方读取告警消息，在新的segment主机上创建了数据库和数据库对象，在每个segment节点运行并行处理mpp，采用api接口封装和调用，告警分布式数据文件生成及展示，在目标库中设置数据开放定时器，数据开放定时器调用数据开放功能，数据开放功能校验目标库中数据跟分布式系统中数据是否一致。
31.本发明的一种快速提取告警方法及系统和现有技术相比，具有以下突出的有益效果：
32.基于gp并行技术具体实施完毕后，告警数据提取时长进行了效果检验。整体方案部署前后告警数据提取时长，部署后告警数据提取时长由原先50多个小时下降为0.5小时，表示针对复杂运算的效率得到很大提升。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明
的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.附图1是一种快速提取告警方法的流程示意图；
35.附图2是一种快速提取告警方法中新的segment主机上创建了数据库和数据库对象的界面图；
36.附图3是一种快速提取告警方法中每个segment节点运行并行处理mpp的界面图；
37.附图4是一种快速提取告警方法中采用api接口封装和调用的界面图；
38.附图5是一种快速提取告警方法中在目标库中设置数据开放定时器的界面图。
具体实施方式
39.为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
40.下面给出一个最佳实施例：
41.如图1-5所示，本实施例中一种快速提取告警方法，具有如下步骤:
42.s1、使用实时接口消息队列接入告警数据，定义通信协议规范、接口路径规范，数据来源和接收系统共同部署环境调测，该接口形式既可统计历史告警，又可查看实时告警变化。
43.s2、制定双方系统配合接入的告警接口规范，包括与通信协议规范、接口路径规范、接口命名规范、请求参数以及返回数据规范。同时约定接口内容，包括中字段名称、类型、中文含义、枚举值等。
44.s3、数据传送方收到告警后，对数据做初步处理，按接口规范约定内容生成对应告警消息发送至消息队列，将成功发送到消息队列的消息存储在消息生产者服务器上。给数据接收方发送指令，等待数据被消费。
45.s4、数据接收方接收到指令后读取消息队列中的告警消息，将获取到的消息写入数据库。告警消息被接收方服务器处理后，删除存储在消息生产者服务器上的消息。
46.s5、硬件要求6核cpu,内存20gb,硬盘80g，采用服务器扩充mpp集群，提供gp库节点，安装greenplum数据库软件，并在新的segment主机上创建了数据库和数据库对象。
47.将要运算的接口数据在数据库中加工处理汇总成模型，抽取模型同步至系统后定义为资产，资产发布后注册成api接口，提供接口规范。
48.最后，在master数据库中创建了一个扩展方案来控制扩展处理。
49.s6、gp采用的大规模并行处理mpp是在每个segment节点可以运行自己的操作系统、数据库等。
50.与传统的smp架构明显不同，通常情况下，mpp系统因为要在不同处理单元之间传送信息，所以它的效率要比smp要差一点，因为mpp技术不共享资源，因此资源比smp要多，当需要处理的事务达到一定规模时，mpp的效率要比smp好。由通信时间占用计算时间的比例而定，若通信时间比较多，那mpp系统就不占优势了，相反，若通信时间比较少，那mpp系统可以充分发挥资源的优势，达到高效率。
51.s7、采用api接口封装和调用，接口数据在数据库中，前台申请api接口，通过审批后可查阅该api的调用方式及接口请求和返回的样例数据，查询数据时直接调用api接口(查询条件作为参数)，实时返回查询结果。
52.s8、告警分布式数据文件生成及展示，将汇总好的数据同步至关系型数据库，通过参数找到服务器上提前生成的数据文件，用户下载数据时不再根据查询语句生成数据文件，直接下载已有数据文件。
53.s9、在目标库中设置数据开放定时器，该数据开放定时器调用数据开放功能，数据开放功能校验目标库中数据跟分布式系统中数据是否一致，如果数据一致，则将目标库中临时表数据转储到目标库表中，该过程记录数据开放日志，便于监控数据开放情况。当数据开放定时器校验数据不一致时，根据数据开放日志排查出原因，进行数据补救，在该补救过程中更新数据开放日志，便于监控采用gp并行提取结果的准确性、完整性。
54.一种快速提取告警系统，使用实时接口消息队列接入告警数据，定义通信协议规范、接口路径规范，制定双方系统配合接入的告警接口规范，数据传送方收到告警后，对数据做初步处理，数据接收方读取告警消息，在新的segment主机上创建了数据库和数据库对象，在每个segment节点运行并行处理mpp，采用api接口封装和调用，告警分布式数据文件生成及展示，在目标库中设置数据开放定时器，数据开放定时器调用数据开放功能，数据开放功能校验目标库中数据跟分布式系统中数据是否一致。
55.上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种快速提取告警方法及系统权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
56.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种快速提取告警方法，其特征在于，具有如下步骤：s1、使用实时接口消息队列接入告警数据，定义通信协议规范、接口路径规范；s2、制定双方系统配合接入的告警接口规范；s3、数据传送方收到告警后，对数据做初步处理；s4、数据接收方读取告警消息；s5、在新的segment主机上创建了数据库和数据库对象；s6、在每个segment节点运行并行处理mpp；s7、采用api接口封装和调用；s8、告警分布式数据文件生成及展示；s9、在目标库中设置数据开放定时器。2.根据权利要求1所述的一种快速提取告警方法，其特征在于，在步骤s1中，使用实时接口消息队列接入告警数据，定义通信协议规范、接口路径规范，数据来源和接收系统共同部署环境调测，接口形式既可统计历史告警，又可查看实时告警变化。3.根据权利要求2所述的一种快速提取告警方法，其特征在于，在步骤s2中，制定双方系统配合接入的告警接口规范，包括与通信协议规范、接口路径规范、接口命名规范、请求参数以及返回数据规范，同时约定接口内容。4.根据权利要求3所述的一种快速提取告警方法，其特征在于，在步骤s3中，按接口规范约定内容生成对应告警消息发送至消息队列，将成功发送到消息队列的消息存储在消息生产者服务器上，给数据接收方发送指令，等待数据被消费。5.根据权利要求4所述的一种快速提取告警方法，其特征在于，在步骤s4中，数据接收方接收到指令后读取消息队列中的告警消息，将获取到的消息写入数据库，告警消息被接收方服务器处理后，删除存储在消息生产者服务器上的消息。6.根据权利要求5所述的一种快速提取告警方法，其特征在于，在步骤s5中，硬件要求6核cpu,内存20gb,硬盘80g，采用服务器扩充mpp集群，提供gp库节点，安装greenplum数据库软件，并在新的segment主机上创建了数据库和数据库对象；将要运算的接口数据在数据库中加工处理汇总成模型，抽取模型同步至系统后定义为资产，资产发布后注册成api接口，提供接口规范；最后，在master数据库中创建了一个扩展方案来控制扩展处理。7.根据权利要求6所述的一种快速提取告警方法，其特征在于，在步骤s7中，采用api接口的封装和调用，接口数据在数据库中，前台申请api接口，通过审批后可查阅该api的调用方式及接口请求和返回的样例数据，查询数据时直接调用api接口，实时返回查询结果。8.根据权利要求8所述的一种快速提取告警方法，其特征在于，在步骤s8中，告警分布式数据文件生成及展示，将汇总好的数据同步至关系型数据库，通过参数找到服务器上提前生成的数据文件，用户下载数据时不再根据查询语句生成数据文件，直接下载已有数据文件。9.根据权利要求8所述的一种快速提取告警方法，其特征在于，在步骤s9中，在目标库中设置数据开放定时器，数据开放定时器调用数据开放功能，数据开放功能校验目标库中数据跟分布式系统中数据是否一致，如果数据一致，则将目标库中临时表数据转储到目标库表中，该过程记录数据开放日志；
当数据开放定时器校验数据不一致时，根据数据开放日志排查出原因，进行数据补救，在该补救过程中更新数据开放日志。10.一种快速提取告警系统，其特征在于，使用计算机实时接口消息队列接入告警数据，定义通信协议规范、接口路径规范，制定双方系统配合接入的告警接口规范，数据传送方收到告警后，对数据做初步处理，数据接收方读取告警消息，在新的segment主机上创建了数据库和数据库对象，在每个segment节点运行并行处理mpp，采用api接口封装和调用，告警分布式数据文件生成及展示，在目标库中设置数据开放定时器，数据开放定时器调用数据开放功能，数据开放功能校验目标库中数据跟分布式系统中数据是否一致。

技术总结
本发明涉及大数据计算机处理领域，具体提供了一种快速提取告警方法，具有如下步骤：S1、使用实时接口消息队列接入告警数据，定义通信协议规范、接口路径规范；S2、制定双方系统配合接入的告警接口规范；S3、数据传送方收到告警后，对数据做初步处理；S4、数据接收方读取告警消息；S5、在新的Segment主机上创建了数据库和数据库对象；S6、在每个Segment节点运行并行处理MPP；S7、采用API接口封装和调用；S8、告警分布式数据文件生成及展示；S9、在目标库中设置数据开放定时器。与现有技术相比，本发明部署前后告警数据提取时长，部署后告警数据提取时长由原先50多个小时下降为0.5小时，表示针对复杂运算的效率得到很大提升。复杂运算的效率得到很大提升。复杂运算的效率得到很大提升。


技术研发人员：张俊飞 叶留军 曹健豪
受保护的技术使用者：浪潮通信信息系统有限公司
技术研发日：2021.11.12
技术公布日：2022/3/8