一种基于海量日志的设备状态监控方法、装置及介质与流程

1.本发明涉及日志处理技术领域，尤其涉及一种基于海量日志的设备状态监控方法、装置及介质。


背景技术：

2.数据中心中存在大量的物理设备基础设施，如服务器，交换机，路由器，防火墙，sdn，磁阵，分布式存储等。数据中心的设备基础设施运行过程中，温度、异常上下电、异常碰撞等各种因素会产生状态变化，对设备上运行的业务产生影响。由于设备类型多样，设备数量较多，这就给设备状态管理带来了巨大的挑战。
3.目前业界对于设备状态的管理方式是根据各种温度，压力，位移，速度等传感器或者各种硬盘，电源，网卡，供电等指示灯进行设备状态监控，等这些指标异常的时候，设备已经出现问题，时效性差。设备日志是记录设备运行的重要数据资料，可以基于设备通用的日志协议或者组件，分析日志，生成设备状态报告并通知客户，持续稳定的监控设备状态，尽早发现设备问题并提前准备或处理，避免对客户业务造成影响和损失。然而对于数据中心，设备数量多，设备种类不一，设备产生的日志量大且不同的机器或系统生成的日志格式多种多样，这就导致在有限的日志分析资源情况下，对数据中心的日志进行全面分析并以此监测数据中心中设备发生异常的效率低，失效性依旧很差。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本发明提供一种基于海量日志的设备状态监控方法、装置及介质。
5.第一方面，本发明提供一种基于海量日志的设备状态监控方法，包括：
6.从待分类分析日志的设备中收集日志；
7.对所收集的日志进行预处理获取日志记录；
8.统计日志记录中每个分词的分词权重、分词索引和分词长度作为分词特征；
9.将日志记录中所有分词的分词特征按分词词序排列形成日志记录特征集合；
10.比较元素数量相同的日志记录特征集合，按分词特征一致数量大于等于日志记录特征集合元素总数量一半进行划分；
11.将日志记录特征集合中元素相同的部分提取出来作为分类模板；
12.按所提取的分类模板对日志进行分类、存储；
13.对所存储的分类日志进行分析并生成设备分析报告。
14.更进一步地，预设从待分类分析日志的设备采集日志的周期，指定获取日志的目标存储地址，按照设定的周期从待分类分析日志的设备中收集日志到目标存储地址。
15.更进一步地，对所收集的日志进行预处理包括：删除所收集日志中的序号以及时间数据。
16.更进一步地，所述分词权重为日志记录的分词中字符的ascii码及字符在分词中
位置乘积的和；所述分词索引为分词在日志记录中的位置；所述分词长度为分词中字符的总量。
17.更进一步地，按所提取的分类模板对日志进行分类时，若所获取目标日志不属于现有分类模板中的任意一类，则存储目标日志并从各个目标日志中训练获取新分类模板。
18.更进一步地，存储按分类模板分类的日志，并检测存储日志的存储空间的当前使用占比，设定存储空间的第一使用占比阈值和第二使用占比阈值，当前使用占比达到使用占比阈值，则按日志存储时间由长到短，删除存储时间长的日志，直至当前使用占比达到第二使用占比阈值；其中，存储按分类模板分类的日志的手段包括：数据库、文件、kafka、elasticsearch。
19.更进一步地，所述对所存储的分类日志进行分析并生成设备分析报告包括：
20.预设用于提取日志数据的关键词，其中，所述关键词包括：设备组件类关键词、操作行为类关键词、接口请求类关键词、日志级别类关键词；
21.根据设定的关键词从分类的日志数据中提取目标日志数据；
22.根据所设定的关键词配置对应的异常标准；
23.对比目标日志数据和异常标准来分析目标日志数据中是否记录异常。
24.更进一步地，通过预设的联系方式将所获取的目标日志数据及所分析的异常发送给目标用户。
25.第二方面，本发明提供一种基于海量日志的设备状态监控装置，包括：收集模块，所述收集模块用于从待分类分析日志的设备中收集日志；
26.日志预处理模块，所述日志预处理模块用于对所收集的日志中的编号、时间数据进行删除获取日志记录；
27.特征统计模块，所述特征统计模块用于对日志记录中的分词进行分词特征统计，并进一步形成日志记录特征集合；
28.模板提取模块，所述模板提取模块用于比较分组日志记录特征集合，并从归位一组的日志记录特征集合中提取分类模板；
29.分类模块，所述分类模块按照所提取的分类模板对日志进行分类；
30.存储模块，所述存储模块对按分类模板分类的日志进行存储；
31.分析模块，所述分析模块按照预设的关键词从分类的日志数据中采集目标日志数据；并通过预设的异常标准对比分析目标日志数据以确定目标日志数据中是否记录异常；
32.通知模块，所述通知模块将所生成的设备分析报告发送给目标用户。
33.第三方面，本发明提供一种实现基于海量日志的设备状态监控方法的介质，所述实现基于海量日志的设备状态监控方法的介质存储至少一条指令，读取并执行所述指令实现所述的基于海量日志的设备状态监控方法。
34.本发明实施例提供的上述技术方案与现有技术相比具有如下优点：
35.本发明以分词权重、分词索引和分词长度作为日志记录中每个分词的分词特征，本发明将分词特征按分词词序排列形成日志记录特征集合。日志记录特征集合根据日志记录的内容将日志记录数字特征化。利用数字特征化的日志记录特征集合中元素的一致性来对日志进行分类，并将元素相同的部分提取出来作为分类模板，按照分类模板对后续获取的日志进行自动分类。而且存在日志不能按现有分类模板分类时，能够利用日志内容训练
新的分类模板。从而实现日志分类的完全自动化。
36.在对分好类的日志进行进一步的分析时，分析所处理的数据量会很大程度上的减少，根据预设的关键词提取目标日志数据时，无需均进行全量日志检索，大大提高了目标日志数据的获取效率，从而有效提高日志分析数独；由于预先对日志进行分类，再根据设定关键词提取目标日志数据，使得所获取的目标日志数据的内容统一，方便制定异常标准时，进行日志分析。
附图说明
37.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
39.图1为本发明实施例提供的基于海量日志的设备状态监控方法的流程图；
40.图2为本发明实施例提供自动根据日志记录提取分类模板的流程图；
41.图3为本发明实施例提供的基于海量日志的设备状态监控方法的流程图；
42.图4为本发明实施例提供的基于海量日志的设备状态监控装置的示意图。
具体实施方式
43.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
45.实施例1
46.参阅图1所示，本发明实施例提供一种基于海量日志的设备状态监控方法，包括：
47.s100，从待分类分析日志的设备中收集日志；具体实施过程中，构建与待分类分析日志设备的通信链路，预设从待分类分析日志的设备采集日志的周期，指定获取日志的目标存储地址，按照设定的周期利用所构建的通信链路从设备中收集日志到目标存储地址。
48.s200，对所收集的日志进行预处理获取日志记录；具体实施过程中，日志中包含的序号及时间数据一直变化，并不会参与分类模板对形成，对于分类模板提取过程来说属于无效信息。对所收集的日志进行预处理包括：删除所收集日志中的序号以及时间数据。
49.s300，自动根据日志记录提取分类模板。具体实施过程中，参阅图2所示，根据日志记录提取分类模板包括：
50.s301，统计日志记录中每个分词的分词权重、分词索引和分词长度作为分词特征；
其中，所述分词权重为日志记录的分词中字符的ascii码及字符在分词中位置乘积的和；所述分词索引为分词在日志记录中的位置；所述分词长度为分词中字符的总量。如：对于“command is display interface hge2/0/2”和“command is display interface ge1/0/1”两条日志记录来说
[0051]“command is display interface hge2/0/2”的各个分词的分词特征如下：
[0052]
r1：67*1+111*2+109*3+109*4+97*5+110*6+100*7，i1：1，l1：7；
[0053]
r2：105+115，i2：2，l2：2；
[0054]
r3：100*1+105*2+115*3+112*4+108*5+97*6+121*7，i3：3，l3：7；
[0055]
r4：105*1+110*2+116*3+101*4+114*5+102*6+97*7+99*8+101*9，i4：4，l4：9；
[0056]
r5：72*1+71*2+69*3+50*4+47*5+48*6+47*7+50*8，i5：5，l5：8。
[0057]“command is display interface ge1/0/1”的各个分词的分词特征如下：
[0058]
r1：67*1+111*2+109*3+109*4+97*5+110*6+100*7，i1：1，l1：7；
[0059]
r2：105*1+115*2，i2：2，l2：2；
[0060]
r3：100*1+105*2+115*3+112*4+108*5+97*6+121*7，i3：3，l3：7；
[0061]
r4：105*1+110*2+116*3+101*4+114*5+102*6+97*7+99*8+101*9，i4：4，l4：9；
[0062]
r5：71*1+69*2+49*3+47*4+48*5+47*6+49*7，i5：5，l5：7。
[0063]
其中r表示分词权重，i表示分词索引，l表示分词长度。*前为字符ascii码，*后为字符在分词中位置。将ascii码和字符位置乘积相加形成分词权重，分词权重既与分词中包含的字符，由于分词中字符的排列相关，增加分词权重与分词对应性。
[0064]
s302，将日志记录中所有分词的分词特征按分词词序排列形成日志记录特征集合；
[0065]
s303，统计元素数量相同的日志记录特征集合；具体的，按照分词索引的最大值统计元素数量相同的日志记录特征集合。
[0066]
s304，对于元素数量相同的日志记录特征集合，判断分词特征一致数量是否大于等于日志记录特征集合元素总数量一半，是则执行s305；
[0067]“command is display interface hge2/0/2”和“command is display interface ge1/0/1”的日志记录特征集合中前四个元素完全一致，一致的数量大于日志记录特征集合总元素量5的一半。
[0068]
s305，元素数量相同的日志记录特征集合分为一组；
[0069]
s306，将分为一组的日志记录特征集合中元素相同的部分提取出来作为分类模板；将“command is display interface hge2/0/2”和“command is display interface ge1/0/1”归位一类，将相同前四个元素提取出来作为分类模板，分类模板对应日志记录中的“command is display interface”。
[0070]
s400，按所提取的分类模板对所收集的日志进行分类、存储；具体实施过程中，按所提取的分类模板对日志进行分类时，所获取目标日志不属于现有分类模板中的任意一类，则将目标日志保存，目标日志积累后，从各个目标日志中训练获取新分类模板。
[0071]
存储按分类模板分类的日志的手段包括但不限于：数据库、文件、kafka、elasticsearch。在存储日志过程中，检测存储日志的存储空间的当前使用占比，设定存储空间的第一使用占比阈值和第二使用占比阈值，当前使用占比达到使用占比阈值，则按日
志存储时间由长到短，删除存储时间长的日志，直至当前使用占比达到第二使用占比阈值。具体的，一种可行的第一使用占比阈值设置为85％，第二使用占比阈值设置为65％。
[0072]
s500，对所存储的分类日志进行分析并生成设备分析报告。具体实施过程中，参阅图3所示，所述对所存储的分类日志所述对所存储的分类日志进行分析并生成设备分析报告包括：
[0073]
s501，预设用于提取日志数据的关键词，其中，所述关键词包括设备组件类关键词，如：服务器有背板，硬盘，cpu，风扇，gpu，逻辑盘，内存，网卡，网口，pcie插槽，电源，raid卡；交换机，路由器，防火墙等网络设备的板卡，风扇，电源，端口；分布式存储有节点，存储池，快照，卷；
[0074]
操作行为类关键词，如：username，create，session，delete，login，logout，modify；
[0075]
接口请求类关键词，如：http，https，snmp，redfish，get，post，delete；
[0076]
日志级别类关键词，如debug，info，notice，warn，error，crit，alert，emerg。
[0077]
s502，根据设定的关键词从分类的日志数据中提取目标日志数据；
[0078]
s503，根据所设定的关键词配置对应的异常标准；具体实施过程中，异常标准包括但不限于预设的异常描述、预设的异常阈值。
[0079]
s504，对比分析目标日志数据和异常标准来分析目标日志数据中是否记录异常。具体实施过程中，判断目标日志数据中的是否存在异常描述，是则认为发生异常。判断目标日志数据中的参数量是否达到异常阈值，是则认为发生异常。
[0080]
s505，将对目标日志数据的分析结果制成设备分析报告。
[0081]
具体实施过程中，针对所存储的日志按照设定的分析周期通过s501-s505的过程进行分析。
[0082]
s600，将所生成的设备分析报告发送给目标用户。具体的，通过预设的联系方式将所生成设备分析报告发送给目标用户。
[0083]
实施例2
[0084]
参阅图4所示，本发明实施例提供一种设备日志分类模板提取及分类分析装置，包括：收集模块，所述收集模块用于从待分类分析日志的设备中收集日志；
[0085]
日志预处理模块，所述日志预处理模块用于对所收集的日志中的编号、时间数据进行删除获取日志记录；
[0086]
特征统计模块，所述特征统计模块用于对日志记录中的分词进行分词特征统计，并进一步形成日志记录特征集合；
[0087]
模板提取模块，所述模板提取模块用于比较分组日志记录特征集合，并从归位一组的日志记录特征集合中提取分类模板；
[0088]
分类模块，所述分类模块按照所提取的分类模板对日志进行分类；
[0089]
存储模块，所述存储模块对按分类模板分类的日志进行存储；
[0090]
分析模块，所述分析模块按照预设的关键词从分类的日志数据中采集目标日志数据；并通过预设的异常标准分析目标日志数据以分析目标日志数据中是否记录异常；具体的，所述分析模块包括配置单元，所述配置单元用于配置关键词和异常标准。
[0091]
通知模块，所述通知模块将所生成的设备分析报告发送给目标用户。
[0092]
实施例3
[0093]
本发明实施例提供一种实现基于海量日志的设备状态监控方法的介质，所述实现基于海量日志的设备状态监控方法的介质存储至少一条指令，读取并执行所述指令实现所述的基于海量日志的设备状态监控方法。
[0094]
本发明以分词权重、分词索引和分词长度作为日志记录中每个分词的分词特征，本发明将分词特征按分词词序排列形成日志记录特征集合。日志记录特征集合根据日志记录的内容将日志记录数字特征化。利用数字特征化的日志记录特征集合中元素的一致性来对日志进行分类，并将元素相同的部分提取出来作为分类模板，按照分类模板对后续获取的日志进行自动分类。而且存在日志不能按现有分类模板分类时，能够利用日志内容训练新的分类模板。从而实现日志分类的完全自动化。
[0095]
在对分好类的日志进行进一步的分析时，分析所处理的数据量会很大程度上的减少，根据预设的关键词提取目标日志数据时，无需均进行全量日志检索，大大提高了目标日志数据的获取效率，从而有效提高日志分析数独；由于预先对日志进行分类，再根据设定关键词提取目标日志数据，使得所获取的目标日志数据的内容统一，方便制定异常标准时，进行日志分析。
[0096]
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0097]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0098]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0099]
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种基于海量日志的设备状态监控方法，其特征在于，包括：从待分类分析日志的设备中收集日志；对所收集的日志进行预处理获取日志记录；统计日志记录中每个分词的分词权重、分词索引和分词长度作为分词特征；将日志记录中所有分词的分词特征按分词词序排列形成日志记录特征集合；比较元素数量相同的日志记录特征集合，按分词特征一致数量大于等于日志记录特征集合元素总数量一半进行划分；将日志记录特征集合中元素相同的部分提取出来作为分类模板；按所提取的分类模板对日志进行分类、存储；对所存储的分类日志进行分析并生成设备分析报告。2.根据权利要求1所述基于海量日志的设备状态监控方法，其特征在于，预设从待分类分析日志的设备采集日志的周期，指定获取日志的目标存储地址，按照设定的周期从待分类分析日志的设备中收集日志到目标存储地址。3.根据权利要求1所述基于海量日志的设备状态监控方法，其特征在于，对所收集的日志进行预处理包括：删除所收集日志中的序号以及时间数据。4.根据权利要求1所述基于海量日志的设备状态监控方法，其特征在于，所述分词权重为日志记录的分词中字符的ascii码及字符在分词中位置乘积的和；所述分词索引为分词在日志记录中的位置；所述分词长度为分词中字符的总量。5.根据权利要求1所述基于海量日志的设备状态监控方法，其特征在于，按所提取的分类模板对日志进行分类时，若所获取目标日志不属于现有分类模板中的任意一类，则存储目标日志并从各个目标日志中训练获取新分类模板。6.根据权利要求1所述基于海量日志的设备状态监控方法，其特征在于，存储按分类模板分类的日志，并检测存储日志的存储空间的当前使用占比，设定存储空间的第一使用占比阈值和第二使用占比阈值，当前使用占比达到使用占比阈值，则按日志存储时间由长到短，删除存储时间长的日志，直至当前使用占比达到第二使用占比阈值；其中，存储按分类模板分类的日志的手段包括：数据库、文件、kafka、elasticsearch。7.根据权利要求1所述基于海量日志的设备状态监控方法，其特征在于，所述对所存储的分类日志进行分析并生成设备分析报告包括：预设用于提取日志数据的关键词，其中，所述关键词包括：设备组件类关键词、操作行为类关键词、接口请求类关键词、日志级别类关键词；根据设定的关键词从分类的日志数据中提取目标日志数据；根据所设定的关键词配置对应的异常标准；对比目标日志数据和异常标准来分析目标日志数据中是否记录异常。8.根据权利要求7所述基于海量日志的设备状态监控方法，其特征在于，通过预设的联系方式将所获取的目标日志数据及所分析的异常发送给目标用户。9.一种基于海量日志的设备状态监控装置，其特征在于，包括：收集模块，所述收集模块用于从待分类分析日志的设备中收集日志；日志预处理模块，所述日志预处理模块用于对所收集的日志中的编号、时间数据进行删除获取日志记录；
特征统计模块，所述特征统计模块用于对日志记录中的分词进行分词特征统计，并进一步形成日志记录特征集合；模板提取模块，所述模板提取模块用于比较分组日志记录特征集合，并从归位一组的日志记录特征集合中提取分类模板；分类模块，所述分类模块按照所提取的分类模板对日志进行分类；存储模块，所述存储模块对按分类模板分类的日志进行存储；分析模块，所述分析模块按照预设的关键词从分类的日志数据中采集目标日志数据；并通过预设的异常标准对比分析目标日志数据以确定目标日志数据中是否记录异常，生成相应的设备分析报告；通知模块，所述通知模块将所生成的设备分析报告发送给目标用户。10.一种实现基于海量日志的设备状态监控方法的介质，其特征在于，所述实现基于海量日志的设备状态监控方法的介质存储至少一条指令，读取并执行所述指令实现如权利要求1-8任一所述的基于海量日志的设备状态监控方法。

技术总结
本发明涉及基于海量日志的设备状态监控方法、装置及介质。本发明从待分类分析日志的设备中收集日志；对所收集的日志进行预处理获取日志记录；统计日志记录中每个分词的分词权重、分词索引和分词长度作为分词特征；将日志记录中所有分词的分词特征按分词词序排列形成日志记录特征集合；比较元素数量相同的日志记录特征集合，按分词特征一致数量大于等于日志记录特征集合元素总数量一半进行划分；将日志记录特征集合中元素相同的部分提取出来作为分类模板；按所提取的分类模板对日志进行分类、存储及对所存储的分类日志所述对所存储的分类日志进行分析并生成设备分析报告。本发明能够自动提取分类模板并根据分类模板对日志进行分类、存储分析。存储分析。存储分析。


技术研发人员：任广磊
受保护的技术使用者：苏州浪潮智能科技有限公司
技术研发日：2021.11.12
技术公布日：2022/3/8