一种基于业务宽表的电网运营数据大数据分析方法与流程
1.本发明涉及电力信息化
技术领域：
：，具体是一种基于业务宽表的电网运营数据大数据分析方法。
背景技术：
：：2.大数据分析，即对大规模数据进行分析。大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。3.电力大数据是能源变革中电力工业技术革新的必然过程，而不是简单的技术范畴。电力大数据不仅仅是技术进步，更是涉及整个电力系统在大数据时代下发展理念、管理体制和技术路线等方面的重大变革，是下一代智能化电力系统在大数据时代下价值形态的跃升。重塑电力核心价值和转变电力发展方式是电力大数据的两条核心主线。4.电力大数据分析一方面离不开获取并汇总整理多业务系统中海量数据，将无序的数据输出为具有价值的数据集合，另一方面充分利用数据汇聚结果，开展多样化大数据分析及可视化展示，让数据成为电力公司全业务流程监测、辅助决策的最佳助手。5.目前，电力各专业部门业务关注的重点不同、业务系统数据分散存储，使得获取并融合海量业务数据进行大数据分析，开展电力业务全流程监测，将无序的数据输出为具有价值的数据集合，实时分发至用户是非常困难的。技术实现要素：6.针对现有技术存在的上述问题，本发明提供一种一种基于业务宽表的电网运营数据大数据分析方法，采用数据分析服务目录对电力业务系统和数据表进行统一描述，采用所见即所得的方式配置电力宽表的关联数据表、数据字段和关联关系，根据配置结果自动生成视图，从数据仓库中自动获取数据后，利用大数据分析工具开展大数据分析，发掘数据价值，为电网运营全业务流程监控提供决策支持。7.本发明提出的一种基于业务宽表的电网运营数据大数据分析方法，包括以下步骤：8.(1)对业务系统和数据表进行解析，生成数据分析服务目录；9.(2)根据需要从数据分析服务目录中勾选多个业务系统中的数据表；10.(3)进行宽表配置：采用所见即所得的方式，配置业务主题相关的数据表、数据表之间的指标、维度、属性关联关系以及宽表中保留的数据字段；11.(4)根据数据表之间的关联关系判断是否可组成宽表，若判断能关联，则执行步骤(5)；12.(5)生成宽表描述；13.(6)为定制的宽表配置大数据应用；14.(7)从数据仓库中获取业务数据组成宽表；15.(8)对业务数据进行清洗；16.(9)大数据分析和结果展示。17.进一步的，步骤(1)中，数据分析服务目录按照专业划分为业务数据表集合，每个业务数据表集合包含该业务系统中的全部数据表及其属性，业务系统包括电力规划系统、生产系统、调度系统、营销系统、财务系统。18.进一步的，步骤(3)中，所述关联关系包括左连接、右连接、内连接。19.进一步的，步骤(4)具体包括：根据数据表之间的指标、维度、属性关联关系，自动生成判断数据表是否可以组成宽表的sql语句，判断宽表能否生成。20.进一步的，步骤(6)为定制的宽表配置大数据应用，具体包括：利用finebi分析数据并改善业务、企业运营分析、销售数据分析。21.进一步的，步骤(7)具体包括：在数据仓库中自动执行sql语句，从数据仓库中获取业务数据组成宽表，其中可选的数据仓库包括电力大数据中心、海量数据平台。22.进一步的，步骤(8)对业务数据进行清洗具体包括对缺失值、异常值、重复数据以及噪音数据四类异常数据进行处理。23.进一步的，步骤(9)中，所述大数据分析包括统计分析、建模分析、相关性分析，结果展示包括采用商业智能工具进行可视化展示、r语言编程可视化展示。24.进一步的，所述商业智能类工具包括tableau、spotfire。25.本发明的采用所见即所得的方式配置电力宽表的关联数据表、数据字段和关联关系，根据配置结果自动生成视图，从数据仓库中自动获取数据，利用商务智能软件开展大数据分析，发掘数据中的价值，可开展电力业务全流程监测，将无序的数据输出为具有价值的数据集合。附图说明26.图1为本发明一种基于业务宽表的电网运营数据大数据分析方法其中一个实施例的流程图；27.图2为本发明数据表选择示意图；28.图3为本发明宽表关联关系选择示意图；29.图4为本发明宽表数据字段配置示意图。具体实施方式30.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。31.请参阅图1，本发明实施例提供一种基于业务宽表的电网运营数据大数据分析方法，包括如下步骤：32.(1)对业务系统和数据表进行解析，生成数据分析服务目录；33.其中，数据分析服务目录按照专业划分为业务数据表集合，每个业务数据表集合包含该业务系统中的全部数据表及其属性等。业务系统包括但不局限于电力规划、生产、调度、营销、财务等专业相关业务系统。34.(2)根据需要从数据分析服务目录中勾选多个业务系统中的数据表；35.如图2所示，本实施例采用所见即所得的方式，从数据分析服务目录中依次选择所需要的数据表，通过拖拽的方式放到同一可见视图中进行操作。36.(3)进行宽表配置；37.具体的，所述宽表配置采用所见即所得的方式，配置业务主题相关的数据表、数据表之间的指标、维度、属性关联关系以及宽表中保留的数据字段，所述关联关系包括左连接、右连接、内连接等，如图3和图4所示。38.(4)根据数据表之间的关联关系判断是否可组成宽表，若判断能关联，则执行步骤(5)；39.具体的，根据数据表之间的指标、维度、属性关联关系，自动生成判断数据表是否可以组成宽表的sql语句，判断宽表能否生成。40.(5)生成宽表描述；41.具体的，所述宽表通过视图的方式进行描述，有需要获取时可自动获取数据，从而提高迭代计算效率以节约存储空间。42.(6)配置大数据应用；43.为定制的宽表配置大数据应用，包括利用finebi分析数据并改善业务、企业运营分析、销售数据分析等；44.(7)从数据仓库中获取业务数据组成宽表；45.宽表由视图描述，在数据仓库中自动执行sql语句，从数据仓库中获取业务数据组成宽表，其中可选的数据仓库包括电力大数据中心、海量数据平台等；46.(8)对业务数据进行清洗；47.在数据挖掘过程中，从探索性分析结果入手进行数据清洗，主要缺失值(missingvalue)、异常值(离群点)、重复数据以及噪音数据四类异常数据进行处理；48.(9)大数据分析和结果展示。49.具体的，基于生成的宽表，结合实际的业务应用及增值服务需求，开展大数据分析并展示相关结果。大数据分析包括统计分析、建模分析、相关性分析等，结果展示包括采用商业智能工具进行可视化展示、r语言编程可视化展示，商业智能类工具包括但不局限于tableau、spotfire。50.本发明的采用所见即所得的方式配置电力宽表的关联数据表、数据字段和关联关系，根据配置结果自动生成视图，从数据仓库中自动获取数据，利用商务智能软件开展大数据分析，发掘数据中的价值，可开展电力业务全流程监测，将无序的数据输出为具有价值的数据集合。51.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本
技术领域：
：的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。当前第1页12当前第1页12
技术特征：
1.一种基于业务宽表的电网运营数据大数据分析方法，其特征在于：包括如下步骤：(1)对业务系统和数据表进行解析，生成数据分析服务目录；(2)根据需要从数据分析服务目录中勾选多个业务系统中的数据表；(3)进行宽表配置：采用所见即所得的方式，配置业务主题相关的数据表、数据表之间的指标、维度、属性关联关系以及宽表中保留的数据字段；(4)根据数据表之间的关联关系判断是否可组成宽表，若判断能关联，则执行步骤(5)；(5)生成宽表描述；(6)为定制的宽表配置大数据应用；(7)从数据仓库中获取业务数据组成宽表；(8)对业务数据进行清洗；(9)大数据分析和结果展示。2.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(1)中，数据分析服务目录按照专业划分为业务数据表集合，每个业务数据表集合包含该业务系统中的全部数据表及其属性，业务系统包括电力规划系统、生产系统、调度系统、营销系统、财务系统。3.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(3)中，所述关联关系包括左连接、右连接、内连接。4.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(4)具体包括：根据数据表之间的指标、维度、属性关联关系，自动生成判断数据表是否可以组成宽表的sql语句，判断宽表能否生成。5.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(6)为定制的宽表配置大数据应用，具体包括：利用finebi分析数据并改善业务、企业运营分析、销售数据分析。6.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(7)具体包括：在数据仓库中自动执行sql语句，从数据仓库中获取业务数据组成宽表，其中可选的数据仓库包括电力大数据中心、海量数据平台。7.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(8)对业务数据进行清洗具体包括对缺失值、异常值、重复数据以及噪音数据四类异常数据进行处理。8.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(9)中，所述大数据分析包括统计分析、建模分析、相关性分析，结果展示包括采用商业智能工具进行可视化展示、r语言编程可视化展示。9.如权利要求8所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：所述商业智能类工具包括tableau、spotfire。
技术总结
本发明提供一种基于业务宽表的电网运营数据大数据分析方法，包括：对业务系统和数据表进行解析，生成数据分析服务目录；根据需要从数据分析服务目录中勾选多个业务系统中的数据表；进行宽表配置；根据数据表之间的关联关系判断是否可组成宽表，若判断能关联，则生成宽表描述；为定制的宽表配置大数据应用；从数据仓库中获取业务数据组成宽表；对业务数据进行清洗；大数据分析和结果展示。本发明采用所见即所得的方式配置电力宽表的关联数据表、数据字段和关联关系，根据配置结果自动生成视图，从数据仓库中自动获取数据后，利用大数据分析工具开展大数据分析，发掘数据价值，为电网运营全业务流程监控提供决策支持。网运营全业务流程监控提供决策支持。网运营全业务流程监控提供决策支持。
技术研发人员：郭志刚 陈莉娟 施志勇 赵立华
受保护的技术使用者：湖北华中电力科技开发有限责任公司 国网湖北省电力有限公司
技术研发日：2021.11.29
技术公布日：2022/3/8
技术领域：
：，具体是一种基于业务宽表的电网运营数据大数据分析方法。
背景技术：
：：2.大数据分析，即对大规模数据进行分析。大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。3.电力大数据是能源变革中电力工业技术革新的必然过程，而不是简单的技术范畴。电力大数据不仅仅是技术进步，更是涉及整个电力系统在大数据时代下发展理念、管理体制和技术路线等方面的重大变革，是下一代智能化电力系统在大数据时代下价值形态的跃升。重塑电力核心价值和转变电力发展方式是电力大数据的两条核心主线。4.电力大数据分析一方面离不开获取并汇总整理多业务系统中海量数据，将无序的数据输出为具有价值的数据集合，另一方面充分利用数据汇聚结果，开展多样化大数据分析及可视化展示，让数据成为电力公司全业务流程监测、辅助决策的最佳助手。5.目前，电力各专业部门业务关注的重点不同、业务系统数据分散存储，使得获取并融合海量业务数据进行大数据分析，开展电力业务全流程监测，将无序的数据输出为具有价值的数据集合，实时分发至用户是非常困难的。技术实现要素：6.针对现有技术存在的上述问题，本发明提供一种一种基于业务宽表的电网运营数据大数据分析方法，采用数据分析服务目录对电力业务系统和数据表进行统一描述，采用所见即所得的方式配置电力宽表的关联数据表、数据字段和关联关系，根据配置结果自动生成视图，从数据仓库中自动获取数据后，利用大数据分析工具开展大数据分析，发掘数据价值，为电网运营全业务流程监控提供决策支持。7.本发明提出的一种基于业务宽表的电网运营数据大数据分析方法，包括以下步骤：8.(1)对业务系统和数据表进行解析，生成数据分析服务目录；9.(2)根据需要从数据分析服务目录中勾选多个业务系统中的数据表；10.(3)进行宽表配置：采用所见即所得的方式，配置业务主题相关的数据表、数据表之间的指标、维度、属性关联关系以及宽表中保留的数据字段；11.(4)根据数据表之间的关联关系判断是否可组成宽表，若判断能关联，则执行步骤(5)；12.(5)生成宽表描述；13.(6)为定制的宽表配置大数据应用；14.(7)从数据仓库中获取业务数据组成宽表；15.(8)对业务数据进行清洗；16.(9)大数据分析和结果展示。17.进一步的，步骤(1)中，数据分析服务目录按照专业划分为业务数据表集合，每个业务数据表集合包含该业务系统中的全部数据表及其属性，业务系统包括电力规划系统、生产系统、调度系统、营销系统、财务系统。18.进一步的，步骤(3)中，所述关联关系包括左连接、右连接、内连接。19.进一步的，步骤(4)具体包括：根据数据表之间的指标、维度、属性关联关系，自动生成判断数据表是否可以组成宽表的sql语句，判断宽表能否生成。20.进一步的，步骤(6)为定制的宽表配置大数据应用，具体包括：利用finebi分析数据并改善业务、企业运营分析、销售数据分析。21.进一步的，步骤(7)具体包括：在数据仓库中自动执行sql语句，从数据仓库中获取业务数据组成宽表，其中可选的数据仓库包括电力大数据中心、海量数据平台。22.进一步的，步骤(8)对业务数据进行清洗具体包括对缺失值、异常值、重复数据以及噪音数据四类异常数据进行处理。23.进一步的，步骤(9)中，所述大数据分析包括统计分析、建模分析、相关性分析，结果展示包括采用商业智能工具进行可视化展示、r语言编程可视化展示。24.进一步的，所述商业智能类工具包括tableau、spotfire。25.本发明的采用所见即所得的方式配置电力宽表的关联数据表、数据字段和关联关系，根据配置结果自动生成视图，从数据仓库中自动获取数据，利用商务智能软件开展大数据分析，发掘数据中的价值，可开展电力业务全流程监测，将无序的数据输出为具有价值的数据集合。附图说明26.图1为本发明一种基于业务宽表的电网运营数据大数据分析方法其中一个实施例的流程图；27.图2为本发明数据表选择示意图；28.图3为本发明宽表关联关系选择示意图；29.图4为本发明宽表数据字段配置示意图。具体实施方式30.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。31.请参阅图1，本发明实施例提供一种基于业务宽表的电网运营数据大数据分析方法，包括如下步骤：32.(1)对业务系统和数据表进行解析，生成数据分析服务目录；33.其中，数据分析服务目录按照专业划分为业务数据表集合，每个业务数据表集合包含该业务系统中的全部数据表及其属性等。业务系统包括但不局限于电力规划、生产、调度、营销、财务等专业相关业务系统。34.(2)根据需要从数据分析服务目录中勾选多个业务系统中的数据表；35.如图2所示，本实施例采用所见即所得的方式，从数据分析服务目录中依次选择所需要的数据表，通过拖拽的方式放到同一可见视图中进行操作。36.(3)进行宽表配置；37.具体的，所述宽表配置采用所见即所得的方式，配置业务主题相关的数据表、数据表之间的指标、维度、属性关联关系以及宽表中保留的数据字段，所述关联关系包括左连接、右连接、内连接等，如图3和图4所示。38.(4)根据数据表之间的关联关系判断是否可组成宽表，若判断能关联，则执行步骤(5)；39.具体的，根据数据表之间的指标、维度、属性关联关系，自动生成判断数据表是否可以组成宽表的sql语句，判断宽表能否生成。40.(5)生成宽表描述；41.具体的，所述宽表通过视图的方式进行描述，有需要获取时可自动获取数据，从而提高迭代计算效率以节约存储空间。42.(6)配置大数据应用；43.为定制的宽表配置大数据应用，包括利用finebi分析数据并改善业务、企业运营分析、销售数据分析等；44.(7)从数据仓库中获取业务数据组成宽表；45.宽表由视图描述，在数据仓库中自动执行sql语句，从数据仓库中获取业务数据组成宽表，其中可选的数据仓库包括电力大数据中心、海量数据平台等；46.(8)对业务数据进行清洗；47.在数据挖掘过程中，从探索性分析结果入手进行数据清洗，主要缺失值(missingvalue)、异常值(离群点)、重复数据以及噪音数据四类异常数据进行处理；48.(9)大数据分析和结果展示。49.具体的，基于生成的宽表，结合实际的业务应用及增值服务需求，开展大数据分析并展示相关结果。大数据分析包括统计分析、建模分析、相关性分析等，结果展示包括采用商业智能工具进行可视化展示、r语言编程可视化展示，商业智能类工具包括但不局限于tableau、spotfire。50.本发明的采用所见即所得的方式配置电力宽表的关联数据表、数据字段和关联关系，根据配置结果自动生成视图，从数据仓库中自动获取数据，利用商务智能软件开展大数据分析，发掘数据中的价值，可开展电力业务全流程监测，将无序的数据输出为具有价值的数据集合。51.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本
技术领域：
：的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。当前第1页12当前第1页12
技术特征：
1.一种基于业务宽表的电网运营数据大数据分析方法，其特征在于：包括如下步骤：(1)对业务系统和数据表进行解析，生成数据分析服务目录；(2)根据需要从数据分析服务目录中勾选多个业务系统中的数据表；(3)进行宽表配置：采用所见即所得的方式，配置业务主题相关的数据表、数据表之间的指标、维度、属性关联关系以及宽表中保留的数据字段；(4)根据数据表之间的关联关系判断是否可组成宽表，若判断能关联，则执行步骤(5)；(5)生成宽表描述；(6)为定制的宽表配置大数据应用；(7)从数据仓库中获取业务数据组成宽表；(8)对业务数据进行清洗；(9)大数据分析和结果展示。2.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(1)中，数据分析服务目录按照专业划分为业务数据表集合，每个业务数据表集合包含该业务系统中的全部数据表及其属性，业务系统包括电力规划系统、生产系统、调度系统、营销系统、财务系统。3.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(3)中，所述关联关系包括左连接、右连接、内连接。4.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(4)具体包括：根据数据表之间的指标、维度、属性关联关系，自动生成判断数据表是否可以组成宽表的sql语句，判断宽表能否生成。5.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(6)为定制的宽表配置大数据应用，具体包括：利用finebi分析数据并改善业务、企业运营分析、销售数据分析。6.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(7)具体包括：在数据仓库中自动执行sql语句，从数据仓库中获取业务数据组成宽表，其中可选的数据仓库包括电力大数据中心、海量数据平台。7.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(8)对业务数据进行清洗具体包括对缺失值、异常值、重复数据以及噪音数据四类异常数据进行处理。8.如权利要求1所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：步骤(9)中，所述大数据分析包括统计分析、建模分析、相关性分析，结果展示包括采用商业智能工具进行可视化展示、r语言编程可视化展示。9.如权利要求8所述的基于业务宽表的电网运营数据大数据分析方法，其特征在于：所述商业智能类工具包括tableau、spotfire。
技术总结
本发明提供一种基于业务宽表的电网运营数据大数据分析方法，包括：对业务系统和数据表进行解析，生成数据分析服务目录；根据需要从数据分析服务目录中勾选多个业务系统中的数据表；进行宽表配置；根据数据表之间的关联关系判断是否可组成宽表，若判断能关联，则生成宽表描述；为定制的宽表配置大数据应用；从数据仓库中获取业务数据组成宽表；对业务数据进行清洗；大数据分析和结果展示。本发明采用所见即所得的方式配置电力宽表的关联数据表、数据字段和关联关系，根据配置结果自动生成视图，从数据仓库中自动获取数据后，利用大数据分析工具开展大数据分析，发掘数据价值，为电网运营全业务流程监控提供决策支持。网运营全业务流程监控提供决策支持。网运营全业务流程监控提供决策支持。
技术研发人员：郭志刚 陈莉娟 施志勇 赵立华
受保护的技术使用者：湖北华中电力科技开发有限责任公司 国网湖北省电力有限公司
技术研发日：2021.11.29
技术公布日：2022/3/8
最新回复(0)