物联数据采集方法、装置和系统与流程

1.本发明涉及物联数据采集技术领域，具体涉及一种物联数据采集方法、装置和系统。


背景技术：

2.物联网是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。物联网是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络。
3.在物联网平台接入设备数据的过程中，设备种类繁多，各设备使用的通信协议也五花八门，相同类型设备的通信协议也不尽相同，所需技术也相应的不一样，对接环境搭建难度较高，导致物联数据采集复杂，采集效率较低。
4.因此，如何降低物联数据采集复杂度，提高物联数据采集效率是本领域技术人员亟需解决的技术问题。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种物联数据采集方法、装置和系统，以解决现有技术中物联数据采集复杂，采集效率较低的问题。
6.为实现以上目的，本发明采用如下技术方案：
7.一种物联数据采集方法，包括：
8.根据中间组件预先获取到的各个物联数据对应的通信协议，确定每个所述通信协议对应的采集插件；
9.对预先存储的插件配置文件进行插件配置初始化操作，得到插件配置数据；
10.根据所述插件配置数据对所有所述采集插件进行资源初始化，得到每个所述通信协议对应的目标采集插件；
11.利用每个所述目标采集插件，从每个所述目标采集插件对应的通信协议的接口采集目标物联数据；
12.对所有所述目标物联数据进行数据处理，得到已处理物联数据；
13.对所述已处理物联数据进行数据持久化处理，得到应用物联数据，以使应用平台利用所述应用物联数据进行应用开发。
14.进一步地，上述物联数据采集方法，还包括：
15.利用预先存储的读取适配文件，获取所述目标物联数据对应的预览数据和数据结构；
16.根据所述预览数据和所述数据结构，对所述目标物联数据进行预览。
17.进一步地，上述物联数据采集方法，还包括：
18.对所有所述目标采集插件进行打包处理，得到所述目标采集插件对应的插件jar包；
19.将所有所述目标采集插件对应的插件jar包发送到服务器，以使所述目标采集插件部署在不同局域网的服务器上。
20.进一步地，上述物联数据采集方法，还包括：
21.根据所述插件配置文件，生成所述插件配置文件对应的插件配置页面；
22.利用所述插件配置页面开启调试模式，并利用预设调试工具进行物联数据采集调试；
23.获取调试过程中的调试日志；
24.根据所述调试日志，分析调试过程中的运行异常信息，并对所述运行异常信息进行异常定位。
25.进一步地，上述物联数据采集方法中，所述目标物联数据为json格式。
26.进一步地，上述物联数据采集方法中，所述对所述已处理物联数据进行数据持久化处理，得到应用物联数据，包括：
27.将所述已处理物联数据发送到数据平台，得到持久化存储的应用物联数据，以实现对所述已处理物联数据的持久化存储。
28.进一步地，上述物联数据采集方法中，所述数据平台包括：elasticsearch、mysql、neo4j、和redis中的至少一种。
29.进一步地，上述物联数据采集方法中，所述中间组件包括：网关、边设备、接口和数据库中的至少一种。
30.本发明还提供了一种物联数据采集装置，包括：
31.插件确定模块，用于根据中间组件预先获取到的各个物联数据对应的通信协议，确定每个所述通信协议对应的采集插件；
32.配置初始化模块，用于对预先存储的插件配置文件进行插件配置初始化操作，得到插件配置数据；
33.插件初始化模块，用于根据所述插件配置数据对所有所述采集插件进行资源初始化，得到每个所述通信协议对应的目标采集插件；
34.采集模块，用于利用每个所述目标采集插件，从每个所述目标采集插件对应的通信协议的接口采集目标物联数据；
35.数据处理模块，用于对所有所述目标物联数据进行数据处理，得到已处理物联数据；
36.数据持久化模块，用于对所述已处理物联数据进行数据持久化处理，得到应用物联数据，以使应用平台利用所述应用物联数据进行应用开发。
37.本发明还提供了一种物联数据采集系统，包括：处理器以及与所述处理器相连的存储器；
38.所述存储器用于存储计算机程序，所述计算机程序至少用于执行上述物联数据采集方法；
39.所述处理器用于调用并执行所述计算机程序。
40.一种物联数据采集方法、装置和系统，方法包括：根据中间组件预先获取到的各个物联数据对应的通信协议，确定每个通信协议对应的采集插件；对预先存储的插件配置文件进行插件配置初始化操作，得到插件配置数据；根据插件配置数据对所有采集插件进行资源初始化，得到每个通信协议对应的目标采集插件；利用每个目标采集插件中的数据采集接口，从所有物联数据中采集每个目标采集插件对应的目标物联数据；对所有目标物联数据进行数据处理，得到已处理物联数据；对已处理物联数据进行数据持久化处理，得到应用物联数据，以使应用平台利用应用物联数据进行应用开发。采用本发明的技术方案，可以直接利用不同通信协议对应的不同采集插件进行物联数据采集，可以让插件独立运行，使不同采集功能拥有独立的运行环境，避免了功能之间的相互冲突，提高了采集插件的适配能力，降低了物联数据采集复杂度，提高了物联数据采集效率。
41.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1是本发明的物联数据采集方法一种实施例提供的流程图；
44.图2是本发明的物联数据采集装置一种实施例提供的结构示意图；
45.图3是本发明的物联数据采集系统一种实施例提供的结构示意图。
具体实施方式
46.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
47.图1是本发明的物联数据采集方法一种实施例提供的流程图，如图1所示，本实施例的物联数据采集方法具体包括如下步骤：
48.s101、根据中间组件预先获取到的各个物联数据对应的通信协议，确定每个通信协议对应的采集插件。
49.本实施例中，终端设备或者设备管理系统需要将物联数据发送或汇合到中间组件，中间组件获取到所有物联数据后，采集插件平台根据各个物联数据对应的通信协议，确定每个通信协议对应的采集插件。即，不同的中间组件获取不同的物联数据，并且每个中间组件都提供传输物联数据的通信协议。其中，通信协议包括：http、mqtt、tcp/udp、jdbc、snmp、modbus等。中间组件包括：网关、边设备、接口和数据库中的至少一种。
50.s102、对预先存储的插件配置文件进行插件配置初始化操作，得到插件配置数据。
51.本实施例中，采集插件平台中存储了插件配置文件，采集插件平台可以对插件配置文件进行插件配置初始化操作，从而得到插件配置数据。具体可以利用void initialize
(pluginconfig readerconfig)的方法初始化插件配置，该方法存储在读取适配文件中，其中读取适配文件需要java开发，依赖包
52.《dependency》
53.《groupid》org.coredata《/groupid》
54.《artifactid》coredata-core-collector-api《/artifactid》
55.《version》5.0.1-release《/version》
56.《/dependency》
57.继承readeradapter类并实现initialize、getdata抽象方法。
58.另外，采集插件平台还可以根据插件配置文件动态生成配置页面，不需要再开发配置页面，提高了物联数据采集的效率。
59.s103、根据插件配置数据对所有采集插件进行资源初始化，得到每个通信协议对应的目标采集插件。
60.通过上述步骤，得到插件配置数据后，可以根据插件配置数据对所有采集插件进行资源初始化，从而得到每个通信协议对应的目标采集插件。具体可以利用void initialize(pluginconfig pluginconfig)方法来根据插件配置数据初始化协议资源(比如连接池等)。
61.s104、利用每个目标采集插件，从每个目标采集插件对应的通信协议的接口采集目标物联数据。
62.采集插件平台确定了每个通信协议对应的目标采集插件后，需要运行各个目标采集插件，利用每个目标采集插件，从每个目标采集插件对应的通信协议的接口读取对应的目标物联数据，从而实现物联数据的采集。具体可以利用string getdata(boolean ispreview)方法建立数据采集接口，实现目标物联数据的获取，其中，该方法也是存储在读取适配文件中。在getdata中就可以获取数据，再将数据处理成json返回即可。因此，目标物联数据为json格式。
63.s105、对所有目标物联数据进行数据处理，得到已处理物联数据。
64.在利用目标采集插件获取到所有目标物联数据后，需要对所有目标物联数据进行数据处理，如数据清洗等，从而得到已处理物联数据。
65.s106、对已处理物联数据进行数据持久化处理，得到应用物联数据。
66.本实施例得到了已处理物联数据后，需要对所有已处理物联数据进行数据持久化处理，从而得到应用物联数据。应用平台可以根据应用物联数据开发相应的应用。具体执行步骤如下所述：
67.将已处理物联数据发送到数据平台，以实现对已处理物联数据的持久化存储。
68.采集插件平台需要将所有已处理物联数据通过rpc或消息队列发送到数据平台，从而实现已处理物联数据的持久化存储，得到数据平台存储后的应用物联数据。应用平台可以直接从数据平台中提取应用物联数据。其中，数据平台包括：elasticsearch、mysql、neo4j、和redis中的至少一种。开发的应用包括：图表、报表、接口、告警、模型等应用。
69.本实施例的物联数据采集方法，根据中间组件预先获取到的各个物联数据对应的通信协议，确定每个通信协议对应的采集插件；对预先存储的插件配置文件进行插件配置初始化操作，得到插件配置数据；根据插件配置数据对所有采集插件进行资源初始化，得到
每个通信协议对应的目标采集插件；利用每个目标采集插件中的数据采集接口，从所有物联数据中采集每个目标采集插件对应的目标物联数据；对所有目标物联数据进行数据处理，得到已处理物联数据；对已处理物联数据进行数据持久化处理，得到应用物联数据，以使应用平台利用应用物联数据进行应用开发。采用本实施例的技术方案，可以直接利用不同通信协议对应的不同采集插件进行物联数据采集，可以让插件独立运行，使不同采集功能拥有独立的运行环境，避免了功能之间的相互冲突，提高了采集插件的适配能力，降低了物联数据采集复杂度，提高了物联数据采集效率。
70.进一步地，本实施例的物联数据采集方法，还包括如下步骤：
71.第一，利用预先存储的读取适配文件，获取目标物联数据对应的预览数据和数据结构。
72.本实施例可以从预先存储的读取适配文件中提取recorddata preview()方法，利用该方法获取目标物联数据对应的预览数据，还可以从预先存储的读取适配文件中提取list《string》getfieldnames()方法，利用该方法获取预览数据对应的数据结构。另外，读取适配文件中还包括void close()方法，该方法可以实现插件任务关闭的功能。
73.第二，根据预览数据和数据结构，对目标物联数据进行预览。
74.利用预先获取的预览数据和对应的数据结构，可以实现对目标物联数据的预览。
75.进一步地，本实施例的物联数据采集方法，还包括如下步骤：
76.第一，对所有目标采集插件进行打包处理，得到目标采集插件对应的插件jar包。
77.第二，将所有目标采集插件对应的插件jar包发送到服务器，以使目标采集插件部署在不同局域网的服务器上。这样可以实现目标采集插件跨局域网的部署，解决了多局域网场景需要部署多套系统的冗余笨重的问题，降低了物联数据采集复杂度，提高了物联数据采集效率。
78.进一步地，本实施例的物联数据采集方法，还包括如下步骤：
79.第一，根据插件配置文件，生成插件配置文件对应的插件配置页面。
80.第二，利用插件配置页面开启调试模式，并利用预设调试工具进行物联数据采集调试。其中，预设调试工具包括：remote jvm debug远程调试组件。
81.第三，获取调试过程中的调试日志。
82.第四，根据调试日志，分析调试过程中的运行异常信息，并对运行异常信息进行异常定位。这样，方便对调试过程中的异常进行定位，并及时对异常进行处理，提高物联数据采集的准确度。
83.为了更全面，对应于本发明实施例提供的物联数据采集方法，本技术还提供了物联数据采集装置。
84.图2是本发明的物联数据采集装置一种实施例提供的结构示意图，如图2所示，本实施例的物联数据采集装置包括：插件确定模块11、配置初始化模块12、插件初始化模块13、采集模块14、数据处理模块15和数据持久化模块16。
85.插件确定模块11，用于根据中间组件预先获取到的各个物联数据对应的通信协议，确定每个通信协议对应的采集插件；
86.配置初始化模块12，用于对预先存储的插件配置文件进行插件配置初始化操作，得到插件配置数据；
87.插件初始化模块13，用于根据插件配置数据对所有采集插件进行资源初始化，得到每个通信协议对应的目标采集插件；
88.采集模块14，用于利用每个目标采集插件，从每个目标采集插件对应的通信协议的接口采集目标物联数据；
89.数据处理模块15，用于对所有目标物联数据进行数据处理，得到已处理物联数据；
90.数据持久化模块16，用于对已处理物联数据进行数据持久化处理，得到应用物联数据，以使应用平台利用应用物联数据进行应用开发。
91.本实施例的物联数据采集装置，可以直接利用不同通信协议对应的不同采集插件进行物联数据采集，可以让插件独立运行，使不同采集功能拥有独立的运行环境，避免了功能之间的相互冲突，提高了采集插件的适配能力，降低了物联数据采集复杂度，提高了物联数据采集效率。
92.进一步地，本实施例的物联数据采集装置，还包括：获取模块和预览模块。
93.获取模块，用于利用预先存储的读取适配文件，获取目标物联数据对应的预览数据和数据结构。
94.预览模块，用于根据预览数据和数据结构，对目标物联数据进行预览。
95.进一步地，本实施例的物联数据采集装置，还包括：打包模块和上传模块。
96.打包模块，用于对所有目标采集插件进行打包处理，得到目标采集插件对应的插件jar包。
97.上传模块，用于将所有目标采集插件对应的插件jar包发送到服务器，以使目标采集插件部署在不同局域网的服务器上。
98.进一步地，本实施例的物联数据采集装置，还包括：生成模块、调试模块和分析模块。
99.生成模块，用于根据插件配置文件，生成插件配置文件对应的插件配置页面；
100.调试模块，用于利用插件配置页面开启调试模式，并利用预设调试工具进行物联数据采集调试；
101.获取模块，还用于获取调试过程中的调试日志；
102.分析模块，用于根据调试日志，分析调试过程中的运行异常信息，并对运行异常信息进行异常定位。
103.进一步地，本实施例的物联数据采集装置中，数据持久化模块16具体用于将已处理物联数据发送到数据平台，得到持久化存储的应用物联数据，以实现对已处理物联数据的持久化存储。
104.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
105.图3是本发明的物联数据采集系统一种实施例提供的结构示意图。如图3所示，本实施例的物联数据采集系统包括：处理器21和存储器22。其中，处理器21与存储器22相连。
106.本实施例的物联数据采集系统，可以直接利用不同通信协议对应的不同采集插件进行物联数据采集，可以让插件独立运行，使不同采集功能拥有独立的运行环境，避免了功能之间的相互冲突，提高了采集插件的适配能力，降低了物联数据采集复杂度，提高了物联数据采集效率。
107.可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
108.需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
109.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
110.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
111.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
112.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
113.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
114.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
115.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种物联数据采集方法，其特征在于，包括：根据中间组件预先获取到的各个物联数据对应的通信协议，确定每个所述通信协议对应的采集插件；对预先存储的插件配置文件进行插件配置初始化操作，得到插件配置数据；根据所述插件配置数据对所有所述采集插件进行资源初始化，得到每个所述通信协议对应的目标采集插件；利用每个所述目标采集插件，从每个所述目标采集插件对应的通信协议的接口采集目标物联数据；对所有所述目标物联数据进行数据处理，得到已处理物联数据；对所述已处理物联数据进行数据持久化处理，得到应用物联数据，以使应用平台利用所述应用物联数据进行应用开发。2.根据权利要求1所述的物联数据采集方法，其特征在于，还包括：利用预先存储的读取适配文件，获取所述目标物联数据对应的预览数据和数据结构；根据所述预览数据和所述数据结构，对所述目标物联数据进行预览。3.根据权利要求1所述的物联数据采集方法，其特征在于，还包括：对所有所述目标采集插件进行打包处理，得到所述目标采集插件对应的插件jar包；将所有所述目标采集插件对应的插件jar包发送到服务器，以使所述目标采集插件部署在不同局域网的服务器上。4.根据权利要求1所述的物联数据采集方法，其特征在于，还包括：根据所述插件配置文件，生成所述插件配置文件对应的插件配置页面；利用所述插件配置页面开启调试模式，并利用预设调试工具进行物联数据采集调试；获取调试过程中的调试日志；根据所述调试日志，分析调试过程中的运行异常信息，并对所述运行异常信息进行异常定位。5.根据权利要求1所述的物联数据采集方法，其特征在于，所述目标物联数据为json格式。6.根据权利要求1所述的物联数据采集方法，其特征在于，所述对所述已处理物联数据进行数据持久化处理，得到应用物联数据，包括：将所述已处理物联数据发送到数据平台，得到持久化存储的应用物联数据，以实现对所述已处理物联数据的持久化存储。7.根据权利要求6所述的物联数据采集方法，其特征在于，所述数据平台包括：elasticsearch、mysql、neo4j、和redis中的至少一种。8.根据权利要求1所述的物联数据采集方法，其特征在于，所述中间组件包括：网关、边设备、接口和数据库中的至少一种。9.一种物联数据采集装置，其特征在于，包括：插件确定模块，用于根据中间组件预先获取到的各个物联数据对应的通信协议，确定每个所述通信协议对应的采集插件；配置初始化模块，用于对预先存储的插件配置文件进行插件配置初始化操作，得到插件配置数据；
插件初始化模块，用于根据所述插件配置数据对所有所述采集插件进行资源初始化，得到每个所述通信协议对应的目标采集插件；采集模块，用于利用每个所述目标采集插件，从每个所述目标采集插件对应的通信协议的接口采集目标物联数据；数据处理模块，用于对所有所述目标物联数据进行数据处理，得到已处理物联数据；数据持久化模块，用于对所述已处理物联数据进行数据持久化处理，得到应用物联数据，以使应用平台利用所述应用物联数据进行应用开发。10.一种物联数据采集系统，其特征在于，包括：处理器以及与所述处理器相连的存储器；所述存储器用于存储计算机程序，所述计算机程序至少用于执行权利要求1-8任一项所述的物联数据采集方法；所述处理器用于调用并执行所述计算机程序。

技术总结
本发明涉及一种物联数据采集方法、装置和系统，根据中间组件预先获取到的各个物联数据对应的通信协议，确定每个通信协议对应的采集插件；对插件配置文件进行插件配置初始化操作，得到插件配置数据；根据插件配置数据对所有采集插件进行资源初始化，得到每个物联数据对应的目标采集插件；利用每个目标采集插件，从每个目标采集插件对应的通信协议的接口采集目标物联数据；对所有目标物联数据进行数据处理，得到已处理物联数据；对已处理物联数据进行数据持久化处理，得到应用物联数据。本方案利用不同通信协议对应的不同采集插件进行物联数据采集，提高了产品的适配能力，降低了物联数据采集复杂度，提高了物联数据采集效率。率。率。


技术研发人员：程学涛 朱文明 金旸 冯晋阳 韩长发
受保护的技术使用者：北京德塔精要信息技术有限公司
技术研发日：2021.11.26
技术公布日：2022/3/8