一种基于多任务和层次化多模态决策的电力网络资产判别方法和系统与流程

本技术涉及机器学习领域，具体地，涉及一种基于多任务和层次化多模态决策的电力网络资产判别方法和系统。

背景技术：

1、随着电力系统的日益复杂化和网络化，电力网络的资产管理和安全监控变得尤为重要。然而，电力系统相关的网页内容复杂且多样，包含大量的文本和图像数据，传统的分类方法难以有效处理这些多模态数据。此外，由于电力网络资产涉及到核心、关键、周边等不同等级的资产，其分类和监控对系统的实时性和准确性提出了更高的要求。

2、现有的电力网络资产分类技术往往存在以下问题：1.单模态局限：很多方法仅关注文本或图像中的某一种模态，忽略了电力网络相关网页内容的多样性，导致分类结果不够全面。2.决策策略单一：传统的分类方法大多采用简单的决策规则，难以适应复杂的资产等级判别需求。3.处理效率不足：在处理大量复杂网页时，传统方法的处理效率往往难以满足实时性的要求，影响了系统的响应速度。

3、基于上述背景，本发明提供一种基于多任务和层次化多模态决策的电力网络资产判别方法和系统，本发明采用并行处理机制，同时处理多个文本和图像样本，极大地提高了系统的处理速度和实时响应能力；通过将文本和图像样本分别输入独立的多任务学习模型，捕捉网页内容的类别和真伪，每个模型专注于处理特定模态的数据，从而提高了对电力网络资产的分类精度；通过引入层次化的多模态决策策略，充分考虑了文本和图像样本之间的关联性、重要性，以及不同资产等级的权重。该策略能够综合多个模态的分类结果，做出更加精确的资产等级判别。本发明通过并行处理、多任务学习模型和层次化多模态决策机制，实现了电力网络资产判别实时性与准确性之间的平衡。

技术实现思路

1、本技术实施例的目的在于提供一种基于多任务和层次化多模态决策的电力网络资产判别方法和系统，本发明通过将文本和图像样本分别输入独立的多任务学习模型，兼顾真伪鉴别和资产等级分类，每个模型专注于处理特定模态的数据，从而提高对电力网络资产的分类精度；通过引入层次化的多模态决策策略，充分考虑文本和图像样本之间的关联性、重要性，以及不同资产等级的权重。该策略综合多个模态的分类结果，实现更加精确的资产等级判别。

2、为实现上述目的，本技术提供如下技术方案：

3、第一方面，本发明公开了一种基于多任务和层次化多模态决策的电力网络资产判别方法，包含以下步骤：s1、使用爬虫工具抓取目标电力系统相关网页的html内容，提取出文本段落和图像，构建文本数据集和图像数据集；s2、使用构建的文本和图像数据集分别训练文本多任务学习模型和图像多任务学习模型；s3、基于多任务模型对单样本的分类结果优化层次化多模态决策策略；s4、将新的电力系统相关网页划分为多个文本样本和图像样本；

4、s5、将样本并行输入到训练好的文本和图像的多任务学习模型中，得到每个样本的初步分类结果；s6、使用优化后的层次化多模态决策策略，对所有文本和图像样本的分类结果进行融合评估；s7、输出整个网页所属的电力资产分类结果。

5、更具体地，上述所述的一种基于多任务和层次化多模态决策的电力网络资产判别方法，其特征在于，所述步骤s1中所述所述提取文本段落包括：清理html标签，去除噪声数据，如脚本、广告等；对文本进行分词、词性标注、去除停用词等预处理操作；对文本进行分段，提取关键段落，形成独立的文本样本。所述提取图像包括裁剪、缩放等预处理，将所有图像统一尺寸。所述构建文本数据集和图像数据集，为每个文本和图像样本打上真伪标签和类别标签，所述真伪标签为是否是电力系统相关网络资产，1表示是电力系统相关网络资产，0表示不是电力系统相关网络资产。所述类别标签根据内容标记为核心资产、关键资产、周边资产或伪冒资产。

6、更具体地，上述所述的一种基于多任务和层次化多模态决策的电力网络资产判别方法，其特征在于，所述文本多任务学习模型为基于bert预训练语言模型，所述图像多任务学习模型为基于自适应注意力的卷积神经网络，所述多任务训练目标为资产真伪判别和资产分类。

7、更具体地，上述所述的一种基于多任务和层次化多模态决策的电力网络资产判别方法，其特征在于，所述所述多模态决策策略包括以下步骤：

8、1.对于每个资产等级k，分别计算同一网页中文本样本和图像样本对该等级的初步得分和

9、2.将文本样本和图像样本的得分综合，得到资产等级k的初步得分sk；

10、3.根据资产等级k在网页中的重要性和样本的真实性比例，对初步得分进行加权调整，得到资产等级k的最终综合得分

11、4.将每个资产等级k的综合得分进行归一化处理；

12、5.将得分最高的资产等级的总和得分和决策阈值θf进行比较，当时，网页分类为该资产等级，否则将该网页标记为“未确定”。

13、更具体地，上述所述的一种基于多任务和层次化多模态决策的电力网络资产判别方法，其特征在于，所述网页中文本样本的资产等级k得分计算如下：

14、

15、nt表示网页中文本样本的个数，t表示网页中文本样本集合，αk表示文本样本中资产等级k的权重；所述网页中图像样本的资产等级k得分计算如下：

16、

17、ni表示网页中图像样本的个数，i表示网页中图像样本集合，βk表示图像样本中资产等级k的权重；所述资产等级k的初步得分sk计算如下：

18、

19、更具体地，上述所述的一种基于多任务和层次化多模态决策的电力网络资产判别方法，其特征在于，所述所述对初步得分进行加权调整，计算方法如下：

20、

21、ωk为资产等级k的相对重要性，γk为网页中被判断为等级k的样本中真实电力网络资产的样本比例，pk为网页中被判断为等级k的样本占总体样本比例。所述综合得分进行归一化处理，计算方法如下：

22、

23、共4个资产等级。

24、更具体地，上述所述的一种基于多任务和层次化多模态决策的电力网络资产判别方法，其特征在于，所述核心资产表示网页包含的电力资产信息具有较高的敏感性和重要性；所述关键资产表示网页包含的电力资产内容具有重要性，但不如核心资产敏感；所述周边资产表示网页包含的电力资产相对次要；所述伪冒资产表示网页包含的电力资产内容不可信，包含虚假信息。

25、更具体地，上述所述的一种基于多任务和层次化多模态决策的电力网络资产判别方法，其特征在于，所述决策策略判定结果为“未确定”，则将该网页及其包含的所有文本样本和图像样本记录备份，提交人工审核。

26、第二方面，本发明公开了一种基于多任务和层次化多模态决策的电力网络资产判别系统，包括数据采集模块、并行处理模块、多任务分类模块、多层次决策模块和判别模块；

27、数据采集模块：用于从目标电力系统相关网页中抓取数据，解析网页的html结构，提取出电力系统相关的文本段落和图像，形成独立的样本；并行处理模块：用于管理系统系统的并行处理能力，接收数据采集模块上传的独立样本，利用多核gpu并行执行多任务分类模块，处理每段文本和每个图像样本；

28、多任务分类模块：用于对网页中的文本和图像数据进行特征提取，判断是否和电力资产相关以及电力资产等级分类，将输出结果上送到多层次决策模块；多层次决策模块：用于对网页中样本(文本或图像)的分类结果进行初步融合。使用加权决策融合策略，生成网页的整体分类结果；

29、判别和日志管理模块：用于输出电力系统网页资产分类结果，用于安全监控、风险评估和其他业务流程中，同时对分类结果及相关数据进行日志记录，供后续分析、调优及模型改进使用。

30、与现有技术相比，本发明的有益效果是：本发明通过通过将文本和图像样本分别输入独立的多任务学习模型，兼顾真伪鉴别和资产等级分类，每个模型专注于处理特定模态的数据，从而提高对电力网络资产的分类精度；通过引入层次化的多模态决策策略，充分考虑文本和图像样本之间的关联性、重要性，以及不同资产等级的权重。该策略综合多个模态的分类结果，实现更加精确的资产等级判别。

技术特征：

1.一种基于多任务和层次化多模态决策的电力网络资产判别方法，其特征在于，包含有以下步骤：

2.根据权利要求1所述的一种基于多任务和层次化多模态决策的电力网络资产判别方法，其特征在于，所述步骤s1中，使用爬虫工具抓取目标电力系统相关网页的html内容，提取出文本段落和图像，构建文本数据集和图像数据集；所述提取文本段落包括：清理html标签，去除噪声数据，如脚本、广告等；对文本进行分词、词性标注、去除停用词等预处理操作；对文本进行分段，提取关键段落，形成独立的文本样本。所述提取图像包括裁剪、缩放等预处理，将所有图像统一尺寸。所述构建文本数据集和图像数据集，为每个文本和图像样本打上真伪标签和类别标签，所述真伪标签为是否是电力系统相关网络资产，1表示是电力系统相关网络资产，0表示不是电力系统相关网络资产。所述类别标签根据内容标记为核心资产、关键资产、周边资产或伪冒资产。

3.根据权利要求1所述的一种基于多任务和层次化多模态决策的电力网络资产判别方法，其特征在于，所述步骤s2中，使用构建的文本和图像数据集分别训练文本多任务学习模型和图像多任务学习模型；所述文本多任务学习模型为基于bert预训练语言模型，所述图像多任务学习模型为基于自适应注意力的卷积神经网络，所述多任务训练目标为资产真伪判别和资产分类。

4.根据权利要求1所述的一种基于多任务和层次化多模态决策的电力网络资产判别方法，其特征在于，所述步骤s3中，基于多任务模型对单样本的分类结果优化层次化多模态决策策略；所述多模态决策策略包括以下步骤：

5.根据权利要求4所述的一种基于多任务和层次化多模态决策的电力网络资产判别方法和系统，其特征在于，所述网页中文本样本的资产等级k得分计算如下：

6.根据权利要求4所述的一种基于多任务和层次化多模态决策的电力网络资产判别方法，其特征在于，所述对初步得分进行加权调整，计算方法如下：

7.根据权利要求2所述的一种基于多任务和层次化多模态决策的电力网络资产判别方法和系统，其特征在于，所述核心资产表示网页包含的电力资产信息具有较高的敏感性和重要性；所述关键资产表示网页包含的电力资产内容具有重要性，但不如核心资产敏感；所述周边资产表示网页包含的电力资产相对次要；所述伪冒资产表示网页包含的电力资产内容不可信，包含虚假信息。

8.根据权利要求4所述的一种基于多任务和层次化多模态决策的电力网络资产判别方法和系统，其特征在于，所述决策策略判定结果为“未确定”，则将该网页及其包含的所有文本样本和图像样本记录备份，提交人工审核。

9.一种基于多任务和层次化多模态决策的电力网络资产判别系统，其特征在于，包括数据采集模块、并行处理模块、多任务分类模块、多层次决策模块和判别模块；

技术总结
本申请涉及机器学习领域，公开了一种基于多任务和层次化多模态决策的电力网络资产判别方法和系统，首先，获取新的电力系统相关网页划分为多个文本样本和图像样本；接着，将样本并行输入到预训练好的文本和图像的多任务学习模型中，得到每个样本的初步分类结果；然后，使用优化后的层次化多模态决策策略，对所有文本和图像样本的分类结果进行融合评估；最后，输出整个网页所属的电力资产分类结果。本发明通过多任务学习和层次化多模态决策策略的结合，该方法能够有效地对电力系统相关网页中的内容进行精确分类，实现对电力资产的判别和分类。

技术研发人员：徐超,谢慧辉,张杨忆,林瑨,李曼婷,易文豪,李韬睿,白海,刘颖彤
受保护的技术使用者：国网湖北省电力有限公司超高压公司
技术研发日：
技术公布日：2024/12/5