基于大数据分析的网络信息安全预警平台及预警方法

1.本发明涉及网络安全技术领域，特别是涉及基于大数据分析的网络信息安全预警平台及预警方法。


背景技术：

2.网络安全包含网络设备安全、网络信息安全、网络软件安全，是指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或者恶意的原因而遭受到破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断。具有保密性、完整性、可用性、可控性、可审查性的特性。
3.从网络运行和管理者角度说，希望对本地网络信息的访问、读写等操作受到保护和控制，避免出现“陷门”、病毒、非法存取、拒绝服务和网络资源非法占用和非法控制等威胁，制止和防御网络黑客的攻击。对安全保密部门来说，他们希望对非法的、有害的或涉及国家机密的信息进行过滤和防堵，避免机要信息泄露，避免对社会产生危害，对国家造成巨大损失，基于网络结构及安全防护现状，建设基于大数据分析的网络信息安全预警平台及预警方法，尤为迫切。


技术实现要素：

4.针对上述问题，本发明提供了基于大数据分析的网络信息安全预警平台及预警方法，具有维护网络安全的优点。
5.本发明的技术方案是：基于大数据分析的网络信息安全预警平台，包括数据收集单元、运维单元、定位单元、传输单元、数据处理单元、分布式数据库、分析监控单元和报警单元，所述数据收集单元的输出端分别与传输单元和分析监控单元的输入端相连接，所述分析监控单元的输出端与传输单元的输入端相连接，所述运维单元的输出端与传输单元的输入端相连接，所述传输单元的输出端与数据处理单元的输入端相连接，所述数据处理单元的输出端与分布式数据库的输入端相连接，所述数据处理单元和分布式数据库的输出端均与报警单元相连接，所述数据处理单元的输出端连接有显示单元和备份单元。
6.上述技术方案的工作原理如下：
7.通过数据收集单元对不同ip所上传或编辑的网络信息、网络数据和网络内容进行收集，然后分别传输给分析监控单元和传输单元，分析监控单元通过网络信息监控、网络数据监控和网络内容监控对数据收集单元所传输的网络数据、网络信息和网络内容进行监控，然后将监控数据传输给传输单元，传输单元将由数据收集单元和分析监控单元的数据传输给数据处理单元，数据处理单元对传输单元所传输的数据进行处理，根据分析监控单元所传输的数据判断数据采集单元所传输的数据是否存在网络危险，如果存在危险，则预警单元会进行启动，进行预警，如果不存在危险，数据处理单元将数据收集单元的数据传输给分布式数据库，分布式数据库内部的分析单元对数据进行分类分析、对比单元对比数据与分布式数据库中的数据、预演单元根据对比数据对数据内容进行预演、呈现单元对预演
结果进行呈现，再次判断数据采集单元所传输的数据是否存在网络危险，如果存在危险，则预警单元会进行启动，进行预警，如果不存在危险，则对数据收集单元对不同ip所上传或编辑的网络信息、网络数据和网络内容进行上传和备份，该网络信息安全预警平台可实现对网络中的安全风险进行有效的监测和分析，同时基于该网络信息安全预警平台可开展基于网络数据、网络信息和网络内容分析的信息安全预警技术研究，建立网络与信息安全事件预警工作机制，为网络安全预警及处置提供判断依据，经过数据处理单元处理后的数据可以传输给显示单元进行显示，方便工作人员和其他网络用户进行查看，另外经过数据处理单元处理后的数据可以传输给备份单元进行备份存储，方便进行后期调阅查看。
8.在进一步的技术方案中，所述分布式数据库包括分析单元、对比单元、预演单元和呈现单元，所述分析单元分析后的数据传输给对比单元，所述对比单元对比后的数据传输给预演单元，所述预演单元预演后的数据传输给呈现单元显示。
9.分布式数据库内部的分析单元对数据进行分类分析、对比单元对比数据与分布式数据库中的数据、预演单元根据对比数据对数据内容进行预演、呈现单元对预演结果进行呈现，再次判断数据采集单元所传输的数据是否存在网络危险，如果存在危险，则预警单元会进行启动，进行预警，如果不存在危险，则对数据收集单元对不同ip所上传或编辑的网络信息、网络数据和网络内容进行上传和备份。
10.在进一步的技术方案中，所述报警单元包括声光报警装置和远程弹窗报警。
11.当报警单元被触发时，声光报警装置启动可发出蜂鸣和亮光，可通知工作人员进行查看，并对上传ip进行锁定，远程弹窗报警分为工作人员弹窗和上传者弹窗，前者可以可通知工作人员进行查看，并对上传ip进行锁定，后者可对上传ip进行警示，停止该行为。
12.在进一步的技术方案中，所述数据收集单元包括网络信息采集、网络数据采集和网络内容采集。
13.数据采集单元可通过网络信息采集、网络数据采集和网络内容采集三个模块对不同ip所上传或编辑的网络信息、网络数据和网络内容进行收集，然后分别传输给分析监控单元和传输单元。
14.在进一步的技术方案中，所述分析监控单元包括网络信息监控、网络数据监控和网络内容监控。
15.分析监控单元通过网络信息监控、网络数据监控和网络内容监控三个单元对数据收集单元所传输的网络数据、网络信息和网络内容进行监控，然后将监控数据传输给传输单元。
16.在进一步的技术方案中，所述运维单元包括运营模块、管理模块和维护模块。
17.工作人员通过运维单元内部的运营模块、管理模块和维护模块向传输单元传输命令数据，传输单元将命令数据传输给数据处理单元，经数据处理单元处理后进行自身的管理和维护。
18.在进一步的技术方案中，所述的定位单元采用高精度的全球网络ip定位系统。
19.可通过定位单元对上传危险数据的ip进行快速定位，方便后期的网络安全维护人员及时的找到上传者，提高网络安全。
20.在进一步的技术方案中，所述分布式数据库的输入端连接有数据采集单元，所述数据采集单元包括网络数据采集、人工录入采集和自编辑采集。
21.可通过网络数据采集从网络上采集相应的对比数据填充分布式数据库，可通过人工录入采集向分布式数据库内部人工录入相应的对比数据填充分布式数据库，可通过自编辑采集大向数据库内部相应的对比数据填充分布式数据库。
22.本发明还公开了基于大数据分析的网络信息安全预警方法，包括以下步骤：
23.s1：在不同ip进行上传或编辑信息时数据收集单元会对信息进行收集，然后分别传输给分析监控单元和传输单元；
24.s2：分析监控单元对数据收集单元所传输信息进行监控，并将监控数据传输给传输单元；
25.s3：传输单元将接收的数据传输给数据处理单元，数据处理单元根据内存计算和实时流计算对数据进行计算处理，根据分析监控单元所传输的数据判断数据采集单元所传输的数据是否存在网络危险，如果存在危险，则预警单元会进行启动，进行预警，如果不存在危险，数据处理单元将数据传输给分布式数据库；
26.所述数据处理单元具体为：
27.a)所述内存计算使用spark框架，以实现基于内存的数据计算；
28.b)所述实时流计算用于对数据收集单元的数据实时接收以及计算，通过计算服务实现对数据的清洗、解析的处理，并将结果输出到分布式数据库中；
29.s4：分布式数据库对数据进行分析、对比、预演和呈现，并再次判断数据采集单元所传输的数据是否存在网络危险，如果存在危险，则预警单元会进行启动，进行预警，如果不存在危险，则对数据收集单元对不同ip所上传或编辑的网络信息、网络数据和网络内容进行上传和备份。
30.在进一步的技术方案中，所述s3步骤中内存计算使用spark框架，应构造spark的弹性分布式数据集，如下：
31.s301：定义spark分布式计算框架的inputspilt，根据spark提供api实现java类inputspilt的子类，自定义java类inputformat类的子类，实现该子类的java类getspilts方法；
32.s302：sparkcontext根据文件/目录及可选的分片创建rdd，首先应用程序创建sparkcontext的实例；
33.s303：根据hadoop配置中inputformat创建hadooprdd；
34.s304：定义读取inputspilt数据的方式，根据hadoop配置和分片从inputformat中获取recordreader进行数据读取；
35.s305：自定义java类recordreader的子类，该子类的作用是自定义读取分片数据的方式，并结合自定义的inputformat构造spark的分布式数据集。
36.在进一步的技术方案中，实时流计算采用storm框架、单独采用spark框架中任意一种或两者的结合。
37.本发明的有益效果是：
38.1、通过数据收集单元对不同ip所上传或编辑的网络信息、网络数据和网络内容进行收集，然后分别传输给分析监控单元和传输单元，分析监控单元通过网络信息监控、网络数据监控和网络内容监控对数据收集单元所传输的网络数据、网络信息和网络内容进行监控，然后将监控数据传输给传输单元，传输单元将由数据收集单元和分析监控单元的数据
传输给数据处理单元，数据处理单元对传输单元所传输的数据进行处理，根据分析监控单元所传输的数据判断数据采集单元所传输的数据是否存在网络危险，如果存在危险，则预警单元会进行启动，进行预警。
39.2、数据处理单元可将数据收集单元的数据传输给分布式数据库，分布式数据库内部的分析单元对数据进行分类分析、对比单元对比数据与分布式数据库中的数据、预演单元根据对比数据对数据内容进行预演、呈现单元对预演结果进行呈现，再次判断数据采集单元所传输的数据是否存在网络危险，如果存在危险，则预警单元会进行启动，进行预警，如果不存在危险，则对数据收集单元对不同ip所上传或编辑的网络信息、网络数据和网络内容进行上传和备份。
40.3、该网络信息安全预警平台可实现对网络中的安全风险进行有效的监测和分析，同时基于该网络信息安全预警平台可开展基于网络数据、网络信息和网络内容分析的信息安全预警技术研究，建立网络与信息安全事件预警工作机制，为网络安全预警及处置提供判断依据。
附图说明
41.图1是本发明的系统平台框图示意图；
42.图2是本发明的数据采集单元框图示意图。
43.图3是本发明的分析监控流程框图示意图。
44.图4是本发明的运维流程框图示意图。
具体实施方式
45.下面结合附图对本发明的实施例作进一步说明。
46.实施例：
47.如图1-图4所示，基于大数据分析的网络信息安全预警平台，包括数据收集单元、运维单元、定位单元、传输单元、数据处理单元、分布式数据库、分析监控单元和报警单元，所述数据收集单元的输出端分别与传输单元和分析监控单元的输入端相连接，所述分析监控单元的输出端与传输单元的输入端相连接，所述运维单元的输出端与传输单元的输入端相连接，所述传输单元的输出端与数据处理单元的输入端相连接，所述数据处理单元的输出端与分布式数据库的输入端相连接，所述数据处理单元和分布式数据库的输出端均与报警单元相连接，所述数据处理单元的输出端连接有显示单元和备份单元。
48.通过数据收集单元对不同ip所上传或编辑的网络信息、网络数据和网络内容进行收集，然后分别传输给分析监控单元和传输单元，分析监控单元通过网络信息监控、网络数据监控和网络内容监控对数据收集单元所传输的网络数据、网络信息和网络内容进行监控，然后将监控数据传输给传输单元，传输单元将由数据收集单元和分析监控单元的数据传输给数据处理单元，数据处理单元对传输单元所传输的数据进行处理，根据分析监控单元所传输的数据判断数据采集单元所传输的数据是否存在网络危险，如果存在危险，则预警单元会进行启动，进行预警，如果不存在危险，数据处理单元将数据收集单元的数据传输给分布式数据库，分布式数据库内部的分析单元对数据进行分类分析、对比单元对比数据与分布式数据库中的数据、预演单元根据对比数据对数据内容进行预演、呈现单元对预演
结果进行呈现，再次判断数据采集单元所传输的数据是否存在网络危险，如果存在危险，则预警单元会进行启动，进行预警，如果不存在危险，则对数据收集单元对不同ip所上传或编辑的网络信息、网络数据和网络内容进行上传和备份，该网络信息安全预警平台可实现对网络中的安全风险进行有效的监测和分析，同时基于该网络信息安全预警平台可开展基于网络数据、网络信息和网络内容分析的信息安全预警技术研究，建立网络与信息安全事件预警工作机制，为网络安全预警及处置提供判断依据。
49.在另外一个实施例中，如图1-图3所示，所述分布式数据库包括分析单元、对比单元、预演单元和呈现单元，所述分析单元分析后的数据传输给对比单元，所述对比单元对比后的数据传输给预演单元，所述预演单元预演后的数据传输给呈现单元显示，所述报警单元包括声光报警装置和远程弹窗报警，所述数据收集单元包括网络信息采集、网络数据采集和网络内容采集，所述分析监控单元包括网络信息监控、网络数据监控和网络内容监控，所述的定位单元采用高精度的全球网络ip定位系统，所述分布式数据库的输入端连接有数据采集单元，所述数据采集单元包括网络数据采集、人工录入采集和自编辑采集。
50.分布式数据库内部的分析单元对数据进行分类分析、对比单元对比数据与分布式数据库中的数据、预演单元根据对比数据对数据内容进行预演、呈现单元对预演结果进行呈现，再次判断数据采集单元所传输的数据是否存在网络危险，如果存在危险，则预警单元会进行启动，进行预警，如果不存在危险，则对数据收集单元对不同ip所上传或编辑的网络信息、网络数据和网络内容进行上传和备份，当报警单元被触发时，声光报警装置启动可发出蜂鸣和亮光，可通知工作人员进行查看，并对上传ip进行锁定，远程弹窗报警分为工作人员弹窗和上传者弹窗，前者可以可通知工作人员进行查看，并对上传ip进行锁定，后者可对上传ip进行警示，停止该行为，数据采集单元可通过网络信息采集、网络数据采集和网络内容采集三个模块对不同ip所上传或编辑的网络信息、网络数据和网络内容进行收集，然后分别传输给分析监控单元和传输单元，分析监控单元通过网络信息监控、网络数据监控和网络内容监控三个单元对数据收集单元所传输的网络数据、网络信息和网络内容进行监控，然后将监控数据传输给传输单元，可通过定位单元对上传危险数据的ip进行快速定位，方便后期的网络安全维护人员及时的找到上传者，提高网络安全，可通过网络数据采集从网络上采集相应的对比数据填充分布式数据库，可通过人工录入采集向分布式数据库内部人工录入相应的对比数据填充分布式数据库，可通过自编辑采集大向数据库内部相应的对比数据填充分布式数据库，经过数据处理单元处理后的数据可以传输给显示单元进行显示，方便工作人员和其他网络用户进行查看，另外经过数据处理单元处理后的数据可以传输给备份单元进行备份存储，方便进行后期调阅查看。
51.在另外一个实施例中，如图4所示，所述运维单元包括运营模块、管理模块和维护模块。
52.工作人员通过运维单元内部的运营模块、管理模块和维护模块向传输单元传输命令数据，传输单元将命令数据传输给数据处理单元，经数据处理单元处理后进行自身的管理和维护。
53.实施例2：
54.在实施例1的基础上，如图1-图4所示，基于大数据分析的网络信息安全预警平台的预警方法，包括以下步骤：
55.s1：在不同ip进行上传或编辑信息时数据收集单元会对信息进行收集，然后分别传输给分析监控单元和传输单元。
56.s2：分析监控单元对数据收集单元所传输信息进行监控，并将监控数据传输给传输单元。
57.s3：传输单元将接收的数据传输给数据处理单元，数据处理单元根据内存计算和实时流计算对数据进行计算处理，根据分析监控单元所传输的数据判断数据采集单元所传输的数据是否存在网络危险，如果存在危险，则预警单元会进行启动，进行预警，如果不存在危险，数据处理单元将数据传输给分布式数据库；
58.所述数据处理单元具体为：
59.a)所述内存计算使用spark框架，以实现基于内存的数据计算；
60.b)所述实时流计算用于对数据收集单元的数据实时接收以及计算，通过计算服务实现对数据的清洗、解析的处理，并将结果输出到分布式数据库中；
61.其中，所述实时流计算采用storm框架、单独采用spark框架中任意一种或两者的结合；流计算方式它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。
62.s4：分布式数据库对数据进行分析、对比、预演和呈现，并再次判断数据采集单元所传输的数据是否存在网络危险，如果存在危险，则预警单元会进行启动，进行预警，如果不存在危险，则对数据收集单元对不同ip所上传或编辑的网络信息、网络数据和网络内容进行上传和备份。
63.在另外一个实施例中，所述s3步骤中内存计算使用spark框架，应构造spark的弹性分布式数据集，如下：
64.s301：定义spark分布式计算框架的inputspilt，根据spark提供api实现java类inputspilt的子类，自定义java类inputformat类的子类，实现该子类的java类getspilts方法；
65.s302：sparkcontext根据文件/目录及可选的分片创建rdd，首先应用程序创建sparkcontext的实例；
66.s303：根据hadoop配置中inputformat创建hadooprdd；
67.s304：定义读取inputspilt数据的方式，根据hadoop配置和分片从inputformat中获取recordreader进行数据读取；
68.s305：自定义java类recordreader的子类，该子类的作用是自定义读取分片数据的方式，并结合自定义的inputformat构造spark的分布式数据集。
69.以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

技术特征：
1.基于大数据分析的网络信息安全预警平台，其特征在于，包括数据收集单元、运维单元、定位单元、传输单元、数据处理单元、分布式数据库、分析监控单元和报警单元，所述数据收集单元的输出端分别与传输单元和分析监控单元的输入端相连接，所述分析监控单元的输出端与传输单元的输入端相连接，所述运维单元的输出端与传输单元的输入端相连接，所述传输单元的输出端与数据处理单元的输入端相连接，所述数据处理单元的输出端与分布式数据库的输入端相连接，所述数据处理单元和分布式数据库的输出端均与报警单元相连接，所述数据处理单元的输出端连接有显示单元和备份单元。2.根据权利要求1所述的基于大数据分析的网络信息安全预警平台，其特征在于，所述分布式数据库包括分析单元、对比单元、预演单元和呈现单元，所述分析单元分析后的数据传输给对比单元，所述对比单元对比后的数据传输给预演单元，所述预演单元预演后的数据传输给呈现单元显示；所述分布式数据库的输入端连接有数据采集单元，所述数据采集单元包括网络数据采集、人工录入采集和自编辑采集。3.根据权利要求2所述的基于大数据分析的网络信息安全预警平台，其特征在于，所述报警单元包括声光报警装置和远程弹窗报警。4.根据权利要求3所述的基于大数据分析的网络信息安全预警平台，其特征在于，所述数据收集单元包括网络信息采集、网络数据采集和网络内容采集。5.根据权利要求4所述的基于大数据分析的网络信息安全预警平台，其特征在于，所述分析监控单元包括网络信息监控、网络数据监控和网络内容监控。6.根据权利要求5所述的基于大数据分析的网络信息安全预警平台，其特征在于，所述运维单元包括运营模块、管理模块和维护模块。7.根据权利要求6所述的基于大数据分析的网络信息安全预警平台，其特征在于，所述的定位单元采用高精度的全球网络ip定位系统。8.基于大数据分析的网络信息安全预警预警方法，其特征在于，包括以下步骤：s1：在不同ip进行上传或编辑信息时数据收集单元会对信息进行收集，然后分别传输给分析监控单元和传输单元；s2：分析监控单元对数据收集单元所传输信息进行监控，并将监控数据传输给传输单元；s3：传输单元将接收的数据传输给数据处理单元，数据处理单元根据内存计算和实时流计算对数据进行计算处理，根据分析监控单元所传输的数据判断数据采集单元所传输的数据是否存在网络危险，如果存在危险，则预警单元会进行启动，进行预警，如果不存在危险，数据处理单元将数据传输给分布式数据库；所述数据处理单元具体为：a)所述内存计算使用spark框架，以实现基于内存的数据计算；b)所述实时流计算用于对数据收集单元的数据实时接收以及计算，通过计算服务实现对数据的清洗、解析的处理，并将结果输出到分布式数据库中；流计算方式它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。s4：分布式数据库对数据进行分析、对比、预演和呈现，并再次判断数据采集单元所传
输的数据是否存在网络危险，如果存在危险，则预警单元会进行启动，进行预警，如果不存在危险，则对数据收集单元对不同ip所上传或编辑的网络信息、网络数据和网络内容进行上传和备份。9.根据权利要求8所述的基于大数据分析的网络信息安全预警预警方法，其特征在于，所述s3步骤中内存计算使用spark框架，应构造spark的弹性分布式数据集，如下：s301：定义spark分布式计算框架的inputspilt，根据spark提供api实现java类inputspilt的子类，自定义java类inputformat类的子类，实现该子类的java类getspilts方法；s302：sparkcontext根据文件/目录及可选的分片创建rdd，首先应用程序创建sparkcontext的实例；s303：根据hadoop配置中inputformat创建hadooprdd；s304：定义读取inputspilt数据的方式，根据hadoop配置和分片从inputformat中获取recordreader进行数据读取；s305：自定义java类recordreader的子类，该子类的作用是自定义读取分片数据的方式，并结合自定义的inputformat构造spark的分布式数据集。10.根据权利要求8所述的基于大数据分析的网络信息安全预警预警方法，其特征在于，所述实时流计算采用storm框架、单独采用spark框架中任意一种或两者的结合。

技术总结
本发明公开了基于大数据分析的网络信息安全预警平台及预警方法，包括数据收集单元、运维单元、定位单元、传输单元、数据处理单元、分布式数据库、分析监控单元和报警单元，所述数据收集单元的输出端分别与传输单元和分析监控单元的输入端相连接，所述分析监控单元的输出端与传输单元的输入端相连接，所述运维的输出端与传输单元的输入端相连接，所述传输单元的输出端与数据处理单元的输入端相连接。该网络信息安全预警平台可实现对网络中的安全风险进行有效的监测和分析，同时基于该网络信息安全预警平台可开展基于网络数据、网络信息和网络内容分析的信息安全预警技术研究，建立网络与信息安全事件预警工作机制，为网络安全预警及处置提供判断依据。预警及处置提供判断依据。预警及处置提供判断依据。


技术研发人员：陈光华 孙尚
受保护的技术使用者：四川邮电职业技术学院
技术研发日：2021.11.23
技术公布日：2022/3/7