一种数据质量评估方法、装置、计算机设备及存储介质与流程

1.本发明涉及数据处理技术领域，特别是涉及一种数据质量评估方法、装置、计算机设备及存储介质。


背景技术：

2.随着技术的发展，航运业在信息化、数字化、智能化的发展中逐步积累了大量船舶数据，这些船舶数据已成为重要的资产，如何充分保护船舶数据以及评估船舶数据的价值，是航运业面临的重要且急迫的课题。
3.随着船舶数字化发展，船舶数据将影响船舶控制系统决策的正确与否。近年来，数据相关的研究也逐渐成为海事界研究热点，如iacs在rec.166中对数据质量和数据安全提出了相关建议。在此背景下，中国船级社出台了《船舶数据质量评估指南》，指南中确立了适用于船舶数据的评估指标，形成了船舶数据质量评估要求，用于帮助船东评估船东的智能船舶智能系统的数据质量，如果通过，将对该船舶颁发data quality(x)附加标志等。
4.然而，目前对于船舶智能系统的数据质量评估还存在以下问题：
5.1、数据量庞大，且类别繁多，导致验船师难以在短时间内对数据质量做出准确评估；
6.2、传统验船师对数据质量的评估计算规则中的特性和测度选取、规则函数设计、评估流程等缺乏经验，容易导致影响评估结果的准确性等问题。
7.综上所述，亟需提出一种新的数据质量评估方法，以解决上述问题。


技术实现要素：

8.为了解决现有技术的问题，本发明提供了一种数据质量评估方法、装置、计算机设备及存储介质，一方面解决了船舶智能系统的数据质量评估过程中数据量大、类别多的问题，另一方面降低了船舶智能系统的数据质量评估的实现难度，实现了船舶智能系统的数据质量评估工作的自动化，为智能船舶的评估和取证奠定了基础。
9.为解决上述一个或多个技术问题，本技术采用的技术方案是：
10.第一方面，提供了一种数据质量评估方法，所述方法包括：
11.从待评估系统获取待评估数据并对其进行解析，根据解析结果确定所述待评估系统的类别；
12.根据所述类别从预设规范中确定出目标元字段，并将所述待评估数据的各目标字段与所述目标元字段建立映射关系；
13.获取所述待评估系统的业务场景，根据所述业务场景确定目标评估方案；
14.利用所述目标评估方案以及所述映射关系对所述待评估数据进行数据质量评估计算，获取所述待评估数据的数据质量得分。
15.进一步的，所述从待评估系统获取待评估数据包括：
16.从所述待评估系统获取预设数据格式的待评估数据，对所述待评估数据进行解析
并存储至预设数据库中。
17.进一步的，所述将所述待评估数据的各目标字段与所述目标元字段建立映射关系包括：
18.根据所述业务场景确定所述待评估数据中需要进行质量评估的所有目标字段，将各所述目标字段与所述目标元字段建立映射关系。
19.进一步的，所述获取所述待评估系统的业务场景，根据所述业务场景确定目标评估方案包括：
20.获取所述待评估系统的业务场景，根据所述业务场景从多个预设评估方案模板中确定目标评估方案；或，
21.获取所述待评估系统的业务场景，根据所述业务场景确定所需质量特性以及每一所述质量特性对应的测度，根据所有所述质量特性以及所有所述测度生成目标评估方案。
22.进一步的，所述获取所述待评估系统的业务场景，根据所述业务场景确定目标评估方案包括：
23.确定每一所述目标字段对应的质量特性以及每一所述质量特性对应的测度；
24.根据所有所述质量特性以及所有所述测度确定评估规则。
25.进一步的，所述根据所有所述质量特性以及所有所述测度确定评估规则包括：
26.根据所述业务场景确定每一所述质量特性的权重、每一所述测度的权重以及评估合格阈值。
27.进一步的，所述利用所述目标评估方案以及所述映射关系对所述待评估数据进行数据质量评估计算，获取所述待评估数据的数据质量得分包括：
28.利用所述评估规则对映射到所述目标元字段的每一所述目标字段进行数据质量评估计算，根据每一所述目标字段的计算结果得到所述待评估数据的数据质量得分。
29.第二方面，还提供了一种数据质量评估装置，所述装置包括：
30.数据解析模块，用于从待评估系统获取待评估数据并对其进行解析，根据解析结果确定所述待评估系统的类别；
31.数据映射模块，用于根据所述类别从预设规范中确定出目标元字段，并将所述待评估数据的各目标字段与所述目标元字段建立映射关系；
32.方案确定模块，用于获取所述待评估系统的业务场景，根据所述业务场景确定目标评估方案；
33.质量评估模块，用于利用所述目标评估方案以及所述映射关系对所述待评估数据进行数据质量评估计算，获取所述待评估数据的数据质量得分。
34.第三方面，还提供了一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现所述数据质量评估方法。
35.第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被执行时，实现所述数据质量评估方法。
36.根据本发明提供的具体实施例，本发明公开了以下技术效果：
37.本发明提供的数据质量评估方法、装置、计算机设备及存储介质，通过从待评估系统获取待评估数据并对其进行解析，根据解析结果确定所述待评估系统的类别，根据所述
类别从预设规范中确定出目标元字段，并将所述待评估数据的各目标字段与所述目标元字段建立映射关系，获取所述待评估系统的业务场景，根据所述业务场景确定目标评估方案，利用所述目标评估方案以及所述映射关系对所述待评估数据进行数据质量评估计算，获取所述待评估数据的数据质量得分，一方面，解决了船舶智能系统的数据质量评估过程中数据量大、类别多的问题，另一方面，降低了船舶智能系统的数据质量评估的实现难度，实现了船舶智能系统的数据质量评估工作的自动化，为智能船舶的评估和取证奠定了基础；
38.进一步的，本发明提供的数据质量评估方法、装置、计算机设备及存储介质，通过根据所述类别从预设规范中确定出目标元字段，并将所述待评估数据的各目标字段与所述目标元字段建立映射关系，以及获取所述待评估系统的业务场景，根据所述业务场景确定目标评估方案，从而提高数据质量评估结果的准确性；
39.进一步的，本发明提供的数据质量评估方法、装置、计算机设备及存储介质，通过根据所述业务场景确定所述待评估数据中需要进行质量评估的所有目标字段，将各所述目标字段与所述目标元字段建立映射关系，排除无效数据的计算量，既可以提高数据质量评估结果的准确性，又可以提高数据计算效率。
附图说明
40.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本发明一个实施例提供的船舶智能系统的数据质量评估系统的架构图；
42.图2是本发明一个实施例提供的数据质量评估方法的流程图；
43.图3是本发明一个实施例提供的数据质量评估装置的结构示意图；
44.图4是本发明一个实施例提供的计算机设备的架构图。
具体实施方式
45.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
46.如背景技术所述，现有技术中，在对船舶智能系统的数据进行质量评估时，存在数据量庞大、且类别繁多，导致验船师难以在短时间内对数据质量做出准确评估以及传统验船师对数据质量的评估计算规则中的特性和测度选取、规则函数设计、评估流程等缺乏经验，容易导致影响评估结果的准确性等问题。
47.为解决上述问题，本技术实施例中创造性的提出了一种数据质量评估方法，该方法一方面解决了船舶智能系统的数据质量评估过程中数据量大、类别多的问题，另一方面，可以降低船舶智能系统的数据的质量评估的实现难度，实现船舶智能系统的数据质量评估工作的自动化，为智能船舶的评估和取证奠定了基础。
48.下面将结合附图和各个实施例，对本技术的方案进行详细介绍。
49.实施例一
50.图1是本发明一个实施例提供的船舶智能系统的数据质量评估系统的架构图，该数据质量评估系统主要针对中国船级社(ccs)发布的《智能船舶规范》中定义的船舶智能系统进行数据质量评估，参照图1所示，该系统包括但不限于以下几个功能模块：
51.资源管理模块，主要用于实现数据资源的新增、编辑与删除等操作；记录数据资源的名称、船东、船舶名称、系统类别、时间区间等属性；制定编码规则，将《智能船舶规范》中的元字段进行标准化编码，便于元字段管理和配置等。
52.质量评估管理模块，主要用于制定并生成评估规则，根据业务需求和应用场景制定评估方案，将待评估数据的原始表字段映射为元字段，利用评估规则对映射完成的元字段进行数据质量评估，最终生成评估报告等。
53.数据库，用于存储评估方案模板、待评估数据等信息，记录数据属性信息，提供数据资源的查询和删除等操作。
54.具体地，使用上述船舶智能系统的数据质量评估系统进行数据质量评估的过程如下：
55.步骤一、将待评估的船舶智能系统的数据资源通过资源管理模块上传至系统数据库。
56.具体的，通过资源管理模块将待评估的船舶智能系统的数据资源以单个csv文件或多个csv文件组成的zip包导入数据库中，对数据资源进行解析，记录数据属性信息，并提供数据资源的查询和删除等操作。
57.这里需要说明的是，本发明实施例中的数据资源既包括待评估的船舶智能系统在实际部署环境下，系统运行时留存在系统里的数据，也包括系统正常运行所需要的外部数据。
58.步骤二、确定待评估的船舶智能系统的类别，将数据资源的原始字段映射到《智能船舶规范》中对应类别的智能系统的元字段；
59.具体的，本发明实施例中，元字段指待评估的对象，如船舶设计参数中的静水力曲线等，气象数据中的风速和风向、有效浪高等，这里不再一一赘述，用户可以根据实际需求进行选择。船舶智能系统指中国船级社发布的《智能船舶规范》中定义的智能航行、智能船体、智能机舱、智能能效管理、智能货物管理以及智能集成平台等，不同类别的智能系统对应的元字段可能有所不同，为了提高数据质量评估结果的准确性，本发明实施例中，设置为不同类别的待评估系统设置不同的元字段。
60.步骤三、根据业务场景需求选择适用的评估方案模板，或自定义选择数据质量特性和测度，并设置评估规则，包括设置权重以及评估合格阈值。
61.具体的，不同的业务场景对于数据质量评估的要求也会有所不同，为了提高数据质量评估结果的准确性，本发明实施例中，一方面，可以针对不同的业务场景预先定义不同的评估方案模板，其中，评估方案模板中包含了用于的数据质量评估的数据质量特性和测度，然后在进行数据质量评估时根据业务场景需求选择对应的评估方案模板，另一方面，还可以直接根据业务场景需求选择数据质量特性和测度作为待评估系统的数据质量评估的可选项。这里需要说明的是，本技术实施例中的业务场景包括但不限于智能航行、智能船体、智能机舱、智能能效管理、智能货物管理、智能集成平台、自主航行以及远程控制等。
62.具体的，在确定好数据质量特性和测度后，还需要设置每一个测度的合格阈值、每一个质量特性的不同测度之间的比重值、以及不同质量特性之间的比重值等。具体实施时，可以根据用户风险可接受程度设置对应的测度的合格阈值，并使得各质量特性下的所有测度的权重之和为100以及各质量特性与权重值相乘后求和的值为100。例如，对于船舶的实时位置信息，其精度属性选定了数据值精度这一个测度，其合格阈值使用95％，数据精度的比重值是100％，数据精度在所有选择的质量特性中占的比重为60％。
63.步骤四、按照评估规则计算数据资源质量，根据数据质量评估结果，生成评估报告。
64.具体的，评估规则还包括用于计算每一测度的规则函数，为了提高数据质量评估的整体评估效率，本发明实施例中，可以针对每一质量特性对应的测度预先配置对应的规则函数，并将所有规则函数内置于所述数据质量评估系统中，在确定好用于数据质量评估的所有质量特性和测度后，直接调用相应的规则函数对每一测度进行计算即可。表一中示例性地描述了质量特性、测度及规则函数的对应关系。
65.表1船舶智能系统数据质量评估的质量特性、测度及规则函数
66.67.[0068][0069][0070]
为了便于理解本发明实施例提供的数据质量评估方法，下面以船舶智能航行系统
为例，对该方法进行举例说明：
[0071]
智能航行系统是指利用先进感知技术和传感信息融合技术等获取和感知船舶航行所需的状态信息，并通过计算机技术、控制技术进行分析和处理，为船舶的航行提供航速和航路优化的决策建议的系统。智能航行的基本功能为航路与航速设计和优化。智能航行系统主要涉及船舶实际设计参数(如静水力曲线、船舶模型实验、主机工厂试验结果等参数)、航线上的短期和长期气象数据(如风速风向、流速流向、有效波高等数据)、本船的实时信息(如船位、航速、航向等信息)、电子海图数据、水上目标数据等类别数据。
[0072]
在针对智能航行系统实施数据质量评估之前，根据智能航行的应用场景制定数据质量评估方案。首先是确定数据质量评估范围，基于系统留存数据的目标，对于类似船舶总布置图的纸质数据，并不包含在评估范围内，但对于主机工厂实验结果报告中的如能耗曲线，如人工录入系统，则在评估的范围内。其次是评估指标剪裁，数据质量评估指南中，定义了15种质量特性，每一种质量特性包含了不同的测度，评估指标剪裁就是针对每一个待测数据，确定其适用的质量特性及其测度。如气象数据，由于气象数据一般由气象导航部门提供，所以评估时并不包括准确性、完备性等特性，而重点关注现时性、精度等特性。最后是制定评估规则，是指确定每一个测度的合格阈值，每一个质量特性的不同测度之间的比重值，以及不同特性之间的比重值。最后评估方案评估智能航行系统的数据质量，并生成评估报告。
[0073]
实施例二
[0074]
对应于上述实施例一，本技术提供了一种数据质量评估方法，其中，本实施例中，与上述实施例一相同或相似的内容，可以参考上文介绍，后续不再赘述。参照图2所示，该方法包括如下步骤：。
[0075]
s1：从待评估系统获取待评估数据并对其进行解析，根据解析结果确定所述待评估系统的类别。
[0076]
具体的，待评估数据包括待评估系统在实际部署环境下，系统运行时留存在系统里的数据，也包括系统正常运行所需要的外部数据。类别包括但不限于智能航行、智能船体、智能机舱、智能能效管理、智能货物管理以及智能集成平台等。
[0077]
s2：根据所述类别从预设规范中确定出目标元字段，并将所述待评估数据的各目标字段与所述目标元字段建立映射关系。
[0078]
具体的，不同类别的待评估系统需要参与评估的元字段也不相同。确定出待评估系统的类别后，将待评估数据的原始字段映射到预设规范中与该类别对应的元字段。这里需要说明的是，本发明实施例中，预设规范包括的但不限于《智能船舶规范》。
[0079]
s3：获取所述待评估系统的业务场景，根据所述业务场景确定目标评估方案。
[0080]
具体的，智能船舶系统的业务场景很广泛，不同的业务场景对于数据质量评估的要求也会有所不同，为了提高数据质量评估结果的准确性，本发明实施例中，针对不同的业务场景配置不同的质量评估方案。评估方案中包含了用于的数据质量评估的数据质量特性(即评估维度)和测度。
[0081]
s4：利用所述目标评估方案以及所述映射关系对所述待评估数据进行数据质量评估计算，获取所述待评估数据的数据质量得分。
[0082]
具体的，为了便于后续查看评估结果，本发明实施例中，设置根据数据质量评估结
果生成评估报告。
[0083]
作为一种较优的实施方式，本发明实施例中，所述从待评估系统获取待评估数据包括：
[0084]
从所述待评估系统获取预设数据格式的待评估数据，对所述待评估数据进行解析并存储至预设数据库中。
[0085]
具体的，预设格式包括但不限于csv格式，从所述待评估系统获取的预设数据格式的待评估数据包括但不限于单个csv文件或多个csv文件组成的zip包。
[0086]
作为一种较优的实施方式，本发明实施例中，所述将所述待评估数据的各目标字段与所述目标元字段建立映射关系包括：
[0087]
根据所述业务场景确定所述待评估数据中需要进行质量评估的所有目标字段，将各所述目标字段与所述目标元字段建立映射关系。
[0088]
作为一种较优的实施方式，本发明实施例中，所述获取所述待评估系统的业务场景，根据所述业务场景确定目标评估方案包括：
[0089]
获取所述待评估系统的业务场景，根据所述业务场景从多个预设评估方案模板中确定目标评估方案；或，
[0090]
获取所述待评估系统的业务场景，根据所述业务场景确定所需质量特性以及每一所述质量特性对应的测度，根据所有所述质量特性以及所有所述测度生成目标评估方案。
[0091]
具体的，本发明实施例中，可以针对不同的业务场景预先定义不同的评估方案模板，其中，评估方案模板中包含了用于的数据质量评估的数据质量特性和测度，然后在进行数据质量评估时根据业务场景需求选择对应的评估方案模板，也可以直接根据业务场景需求选择数据质量特性和测度作为待评估系统的数据质量评估的可选项。
[0092]
作为一种较优的实施方式，本发明实施例中，所述获取所述待评估系统的业务场景，根据所述业务场景确定目标评估方案包括：
[0093]
确定每一所述目标字段对应的质量特性以及每一所述质量特性对应的测度；
[0094]
根据所有所述质量特性以及所有所述测度确定评估规则。
[0095]
具体的，数据质量评估中，会包含若干个质量特性及若干测度，如《船舶数据质量评估指南》中就定义了15中质量特性，每一种特性又包含了若干不同的测度。而不同质量特性和/或测度所采用的评估规则(包括规则函数)又可能不同。因此，本发明实施例，在确定出需要参与质量评估的目标字段后，先为每一目标字段确定对应的质量特性。再为每一质量特性确定对应的测度，最后，再根据所有质量特性以及所有测度确定评估规则。
[0096]
作为一种较优的实施方式，本发明实施例中，所述根据所有所述质量特性以及所有所述测度确定评估规则包括：
[0097]
根据所述业务场景确定每一所述质量特性的权重、每一所述测度的权重以及评估合格阈值。
[0098]
具体的，不同的业务场景对于数据质量评估的要求也不同，因此，会根据业务场景确定每一个测度的评估合格阈值、每一个质量特性的不同测度之间的比重值(即权重)、以及不同质量特性之间的比重值。
[0099]
作为一种较优的实施方式，本发明实施例中，所述利用所述目标评估方案以及所述映射关系对所述待评估数据进行数据质量评估计算，获取所述待评估数据的数据质量得
分包括：
[0100]
利用所述评估规则对映射到所述目标元字段的每一所述目标字段进行数据质量评估计算，根据每一所述目标字段的计算结果得到所述待评估数据的数据质量得分。
[0101]
具体的，本发明实施例中，可以根据待评估系统的类别、业务场景等因素预先配置每一目标字段的评估权重，再计算出所有目标字段的计算结果后，根据所有计算结果以及对应的评估权重计算(如加权计算等)得到所述待评估数据的数据质量得分。
[0102]
实施例三
[0103]
对应于上述实施例一和二，本发明还提供了一种数据质量评估装置，其中，本实施例中，与上述实施例一或二相同或相似的内容，可以参考上文介绍，后续不再赘述。参照图3示，该装置包括：
[0104]
数据解析模块，用于从待评估系统获取待评估数据并对其进行解析，根据解析结果确定所述待评估系统的类别；
[0105]
数据映射模块，用于根据所述类别从预设规范中确定出目标元字段，并将所述待评估数据的各目标字段与所述目标元字段建立映射关系；
[0106]
方案确定模块，用于获取所述待评估系统的业务场景，根据所述业务场景确定目标评估方案；
[0107]
质量评估模块，用于利用所述目标评估方案以及所述映射关系对所述待评估数据进行数据质量评估计算，获取所述待评估数据的数据质量得分。
[0108]
作为一种较优的实施方式，本发明实施例中，所述数据解析模块具体用于：
[0109]
从所述待评估系统获取预设数据格式的待评估数据，对所述待评估数据进行解析并存储至预设数据库中。
[0110]
作为一种较优的实施方式，本发明实施例中，所述数据映射模块具体用于：
[0111]
根据所述业务场景确定所述待评估数据中需要进行质量评估的所有目标字段，将各所述目标字段与所述目标元字段建立映射关系。
[0112]
作为一种较优的实施方式，本发明实施例中，所述方案确定模块具体用于：
[0113]
获取所述待评估系统的业务场景，根据所述业务场景从多个预设评估方案模板中确定目标评估方案；或，
[0114]
获取所述待评估系统的业务场景，根据所述业务场景确定所需质量特性以及每一所述质量特性对应的测度，根据所有所述质量特性以及所有所述测度生成目标评估方案。
[0115]
作为一种较优的实施方式，本发明实施例中，所述方案确定模块具体用于：
[0116]
确定每一所述目标字段对应的质量特性以及每一所述质量特性对应的测度；
[0117]
根据所有所述质量特性以及所有所述测度确定评估规则。
[0118]
作为一种较优的实施方式，本发明实施例中，所述方案确定模块具体用于：
[0119]
根据所述业务场景确定每一所述质量特性的权重、每一所述测度的权重以及评估合格阈值。
[0120]
作为一种较优的实施方式，本发明实施例中，所述质量评估模块具体用于：
[0121]
利用所述评估规则对映射到所述目标元字段的每一所述目标字段进行数据质量评估计算，根据每一所述目标字段的计算结果得到所述待评估数据的数据质量得分。
[0122]
实施例四
[0123]
对应上述实施例一至三，本发明还提供了一种计算机设备，包括：处理器和存储器，存储器上存储有可在处理器上运行的计算机程序，当计算机程序被处理器执行时，执行上述任意一个实施例提供的数据质量评估方法。
[0124]
其中，图4示例性的展示出了计算机设备，具体可以包括处理器1510，视频显示适配器1511，磁盘驱动器1512，输入/输出接口1513，网络接口1514，以及存储器1520。上述处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520之间可以通过通信总线1530进行通信连接。
[0125]
其中，处理器1510可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本发明所提供的技术方案。
[0126]
存储器1520可以采用rom(read only memory，只读存储器)、ram(randomaccess memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1520可以存储用于控制电子设备运行的操作系统1521，用于控制电子设备的低级别操作的基本输入输出系统(bios)。另外，还可以存储网页浏览器1523，数据存储管理系统1524，以及设备标识信息处理系统1525等等。上述设备标识信息处理系统1525就可以是本发明实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本发明所提供的技术方案时，相关的程序代码保存在存储器1520中，并由处理器1510来调用执行。
[0127]
输入/输出接口1513用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
[0128]
网络接口1514用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
[0129]
总线包括一通路，在设备的各个组件(例如处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520)之间传输信息。
[0130]
另外，该电子设备还可以从虚拟资源对象领取条件信息数据库中获得具体领取条件的信息，以用于进行条件判断，等等。
[0131]
需要说明的是，尽管上述设备仅示出了处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，存储器1520，总线等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本发明方案所必需的组件，而不必包含图中所示的全部组件。
[0132]
实施例五
[0133]
对应于上述实施例一至四，本发明实施例还提供了一种计算机可读存储介质，其中，本实施例中，与上述实施例一至四相同或相似的内容，可以参考上文介绍，后续不再赘述。
[0134]
所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如下步骤：
[0135]
从待评估系统获取待评估数据并对其进行解析，根据解析结果确定所述待评估系统的类别；
[0136]
根据所述类别从预设规范中确定出目标元字段，并将所述待评估数据的各目标字段与所述目标元字段建立映射关系；
[0137]
获取所述待评估系统的业务场景，根据所述业务场景确定目标评估方案；
[0138]
利用所述目标评估方案以及所述映射关系对所述待评估数据进行数据质量评估计算，获取所述待评估数据的数据质量得分。
[0139]
在一些实施方式中，本技术实施例中，所述计算机程序被处理器执行时，还可以实现与实施例一所述方法对应的步骤，可以参考实施例一中的详细描述，此处不作赘述。
[0140]
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0141]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0142]
以上对本发明所提供的技术方案，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种数据质量评估方法，其特征在于，所述方法包括：从待评估系统获取待评估数据并对其进行解析，根据解析结果确定所述待评估系统的类别；根据所述类别从预设规范中确定出目标元字段，并将所述待评估数据的各目标字段与所述目标元字段建立映射关系；获取所述待评估系统的业务场景，根据所述业务场景确定目标评估方案；利用所述目标评估方案以及所述映射关系对所述待评估数据进行数据质量评估计算，获取所述待评估数据的数据质量得分。2.根据权利要求1所述的数据质量评估方法，其特征在于，所述从待评估系统获取待评估数据包括：从所述待评估系统获取预设数据格式的待评估数据，对所述待评估数据进行解析并存储至预设数据库中。3.根据权利要求1或2所述的数据质量评估方法，其特征在于，所述将所述待评估数据的各目标字段与所述目标元字段建立映射关系包括：根据所述业务场景确定所述待评估数据中需要进行质量评估的所有目标字段，将各所述目标字段与所述目标元字段建立映射关系。4.根据权利要求1或2所述的数据质量评估方法，其特征在于，所述获取所述待评估系统的业务场景，根据所述业务场景确定目标评估方案包括：获取所述待评估系统的业务场景，根据所述业务场景从多个预设评估方案模板中确定目标评估方案；或，获取所述待评估系统的业务场景，根据所述业务场景确定所需质量特性以及每一所述质量特性对应的测度，根据所有所述质量特性以及所有所述测度生成目标评估方案。5.根据权利要求1或2所述的数据质量评估方法，其特征在于，所述获取所述待评估系统的业务场景，根据所述业务场景确定目标评估方案包括：确定每一所述目标字段对应的质量特性以及每一所述质量特性对应的测度；根据所有所述质量特性以及所有所述测度确定评估规则。6.根据权利要求5所述的数据质量评估方法，其特征在于，所述根据所有所述质量特性以及所有所述测度确定评估规则包括：根据所述业务场景确定每一所述质量特性的权重、每一所述测度的权重以及评估合格阈值。7.根据权利要求5所述的数据质量评估方法，其特征在于，所述利用所述目标评估方案以及所述映射关系对所述待评估数据进行数据质量评估计算，获取所述待评估数据的数据质量得分包括：利用所述评估规则对映射到所述目标元字段的每一所述目标字段进行数据质量评估计算，根据每一所述目标字段的计算结果得到所述待评估数据的数据质量得分。8.一种数据质量评估装置，其特征在于，所述装置包括：数据解析模块，用于从待评估系统获取待评估数据并对其进行解析，根据解析结果确定所述待评估系统的类别；数据映射模块，用于根据所述类别从预设规范中确定出目标元字段，并将所述待评估
数据的各目标字段与所述目标元字段建立映射关系；方案确定模块，用于获取所述待评估系统的业务场景，根据所述业务场景确定目标评估方案；质量评估模块，用于利用所述目标评估方案以及所述映射关系对所述待评估数据进行数据质量评估计算，获取所述待评估数据的数据质量得分。9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1～7中任一项所述的数据质量评估方法。10.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于，所述计算机程序被执行时，实现权利要求1～7中任一项所述的数据质量评估方法。

技术总结
本发明公开了一种数据质量评估方法、装置、计算机设备及存储介质，方法包括从待评估系统获取待评估数据并对其进行解析，根据解析结果确定待评估系统的类别，根据类别从预设规范中确定出目标元字段，并将待评估数据的各目标字段与目标元字段建立映射关系，获取待评估系统的业务场景，根据业务场景确定目标评估方案，利用目标评估方案以及映射关系对待评估数据进行数据质量评估计算，获取待评估数据的数据质量得分。本发明一方面，解决了船舶智能系统的数据质量评估过程中数据量大、类别多的问题，另一方面，降低了船舶智能系统的数据质量评估的实现难度，实现了船舶智能系统的数据质量评估工作的自动化，为智能船舶的评估和取证奠定了基础。奠定了基础。奠定了基础。


技术研发人员：邓林义 郭安康 张旋武 蔡玉良 于淳 张羽 陈帅
受保护的技术使用者：中国船级社
技术研发日：2021.11.26
技术公布日：2022/3/8