一种基于数字孪生的协作机器人远程监测系统与方法

1.本发明涉及数字孪生及远程监测技术领域，具体是一种基于数字孪生的协作机器人远程监测系统与方法。


背景技术：

2.传统的机器人是在无人操作的情况下，根据预先编写好的程序指令，在特定的工作空间中完成操作任务，具有体型庞大、安装运输不便捷、运行调试时间长、价格昂贵等缺点。而且，出于安全性的考虑，这类机器人通常放置在独立的工作空间中，当切换工作场景时，安全防护设施需要重新设立，这些因素都会导致机器人技术在企业中的应用明显受到制约。协作机器人相较于传统的工业机器人，具有占用空间少、便于安装、安全性好、可拖动示教等优点。在实际生产过程中，协作机器人可以与人在同工作空间中一起完成高难度的作业操作，实现了“人机相融”的工作模式。相对于传统机器人来说，协作机器人是一种更复杂的装备，其内部构造更多样、智能化程度更高。
3.协作机器人由于其与人协作的工作属性，其在设计、测试、维护等方面需要有更高的要求，因此在协作机器人的设计、研制、测试、运行、维护等全寿命周期的成本大幅度增加，同时，装备的复杂性大大增加了故障、性能退化以及功能失效发生的几率，严重影响机器人的工作效率，由于其与人协作的工作属性，甚至可能对人造成不可预计的危险，装备的状态监测评估等逐渐成为一个难点。
4.数字孪生技术的出现，为解决设备监测问题提供了新的思路，数字孪生是指在信息化平台内建立、模拟一个物理实体、流程或者系统。借助于数字孪生，可以在信息化平台上了解物理实体的状态，并对物理实体里面预定义的接口元件进行控制。数字孪生是物联网里面的一个概念，通过集成物理实体反馈数据，在信息化平台内建立一个数字化模拟。这个模拟会根据反馈，随着物理实体的变化而自动做出相应的变化。理想状态下，数字孪生可以根据多重的反馈源数据进行自我学习，几乎实时地在数字世界里呈现物理实体的真实状况。故此针对以上分析，设计了一种基于数字孪生的机器人远程监测系统。


技术实现要素：

5.本发明针对现有远程监测系统实时性差、需要依赖于大量专家经验进行判断的缺点，提出一种基于数字孪生的远程监测系统，本发明的数字孪生系统基于五维模型的概念，五维模型分为五个层次：物理实体、虚拟模型、功能服务、数据、连接。物理实体即是所研究的对象，在本发明中就是协作机械臂，虚拟模型就是针对物理实体所建立的数字模型，功能服务就是系统所带来的扩展功能，比如状态监测并进行例如虚拟现实等的可视化展示，数据即是从物理实体采集的在整个系统中传输的数据，连接即是各个层次之间的连接。针对实体机械臂的数据采集、存储、传输的数据保障层，设计数据采集方法及传输流程、编写了数据采集的接口，为整个数字孪生系统提供数据源保障；使用三维开发工具(如unity等)对实体机械臂进行建模，并利用模型简化算法融合模型简化算法对模型进行简化与快速渲
染，使数字模型能够真实快速反映实体机械臂；基于三维开发工具(如unity等)平台建立与数据库的实时联系，完成数据的实时传输，实现整个系统的搭建。最后，基于三维开发工具(如unity等)平台融合虚拟现实技术实现数字模型场景的制作，将整个数字孪生系统以虚拟现实的方式进行呈现。
6.数据采集与传输：转角数据通过编写接口读取电机自带的编码器数据记录得到，电压、电流、温度、转速等数据由协作机器人自带传感器进行采集，再通过编写接口读取伺服电机控制器数据进行读取。
7.数据存储：数据库表的设计，数据库中数据需与虚拟模型所需要的数据保持一致，在虚拟模型中一个物体是以x,y,z三个相对于世界坐标系的坐标轴位置数据，与x,y,z三个轴与世界坐标系的旋转角度数据来确定的，因此在数据库存储数据时，需要以与虚拟模型中相同的字段设计数据库表，在数据存储过程中，每一条记录都保存的是某个时刻机械臂的状态信息。
8.数据传输：数据从数据库到数字模型的传输是整个数字孪生系统最关键的步骤之一。利用三维开发工具(如unity等)中编写的脚本挂载到相应物体即可实现相应的数据驱动功能，通过c#等编程语言编写数据库连接程序，添加数据库连接依赖，进而打开数据库与三维开发工具(如unity等)的连接通道，实现数据传输。
9.协作机械臂数字模型建立与简化：在三维开发工具(如unity等)中进行三维数字模型的建立，采用基于二次误差矩阵的简化边折叠算法对虚拟三维模型进行简化，可以保证在由多层次结构物体组成的场景当中，在保留实体特征及描述细节的前提下，减少在实时渲染过程中系统资源的耗费，加快显示速度，提高监测效率。
10.数字模型的虚拟现实场景制作：基于三维开发工具(如unity等)工具进行虚拟现实场景制作，利用工具自带插件即可搭建虚拟现实场景，利用虚拟现实技术对虚拟场景进行呈现，提供全场景沉浸式体验。
11.数据可视化及状态评估：采用心电折线图、饼形图、仪表盘等图表对各指标数据进行实时呈现，具有直观清晰的特点，各个图表通过编写的程序脚本(c#等语言)实现；采用多级模糊综合评判法对机械臂整体健康状态进行评估，该方式不需要大量历史数据及模型训练过程，大大减少了系统状态的评估时间，具有良好的实时性。
附图说明
12.图1是本发明实现的数字孪生远程监测系统整体架构；
13.图2，3是三维模型的优化过程及优化结果；
14.图4是实时数据可视化图表；
15.图5是模糊综合评判法的评估过程。
具体实施方案
16.为使本发明的设计思想，技术特点以及适用范围表述的更加清晰，以下结合附图及实施例，对本发明做进一步详细说明：
17.如图1所示，展示了基于数字孪生五维模型的数字孪生监测系统总体架构。展现了各个维度之间的相互关联及每个维度的功能。
18.物理实体层即为监测系统的监测对象，是实时数据、虚拟模型的来源，整个监测系统所呈现的监测状态与结果都是基于物理实体的。数据层是数据中转与储存层，与物理实体层通过传感器和接口相连接，是虚拟实体层的数据来源。虚拟实体层是数据的接收层，数据层存储的数据需要在虚拟实体层进行呈现，虚拟实体是物理实体的真实映射。功能服务层是数据的处理层，监测系统的呈现需要依赖于对数据的分析与处理，利用模糊综合评判法，对物理实体状态进行评估并展示。
19.如图2,3所示，是三维模型的优化过程，图中所示纹理贴图通过实物得到，保证贴图后的虚拟模型与物理实体一致，虚拟模型材质按照真实材质进行添加。三维模型的简化通过基于二次误差矩阵的简化边折叠算法实现，通过该算法可以制作不同细节水平的三维模型，是加快渲染速度的关键。可以看出在简化为原模型的50％时，肉眼几乎看不出细节上的差别，而在简化至原模型的20％时，可以看到明显的边缘锐化失真。
20.如图4所示，是数据的可视化呈现，针对数据特点制作了心电折线图、饼形图、仪表盘等对实时数据进行可视化呈现。数据可视化旨在借助于图形化手段，清晰有效地传达与沟通信息。数据可视化与信息图形、信息可视化以及统计图形密切相关。利用数据可视化可为数据开发、数据分析提供便利。
21.如图5所示，是多级模糊综合评判法的评估过程，利用多级模糊综合评判法对整体物理实体进行状态评估。首先建立评判对象的因素集u，这里选取一级评价指标为控制系统主机状态、驱动电机状态，二级评价指标为控制系统主机的cpu使用率、内存使用率、磁盘使用率，驱动电机转角、电压、电流、温度等数据，通过这些因素对电机状态进行评估。然后建立评判集v，这里定义四种状态，健康、良好、较差、故障。第三步确定因素集u的权重，权重是在评估过程中因素集中各个因素所占的比重，这里采用变异系数法与熵值法联合赋权法，分别采用变异系数法与熵值法计算权重后再加权平均得到最终权重w。最后构建隶属度矩阵，隶属度矩阵通过高斯隶属度函数计算得来，这里区别与传统的高斯隶属度函数，采用动态高斯隶属度函数，通过获取当前时刻前10组历史数据进行计算，求得高斯隶属度函数的均值与方差，进而得到高斯隶属度函数，代入当前数据即得到隶属度矩阵m，评估结果通过m
·
w(
·
代表加权平均算子)得到状态等级隶属度矩阵，矩阵中数值最大的状态即为最终的评估状态。

技术特征：
1.一种基于数字孪生的协作机器人远程监测系统与方法，包括物理实体、虚拟模型层、数据采集与传输层、虚实连接层、功能服务层五部分，所述物理实体为协作机器人，虚拟模型层包括与物理实体1:1的虚拟模型的绘制、虚拟模型的简化等，模型简化采用基于二次误差矩阵的简化边折叠算法，利用该算法在保留物理实体特征的前提下，对虚拟模型进行简化，从而减少渲染消耗、减少系统时延；数据采集与传输层包括原始数据采集、数据处理与传输、数据存储；虚实连接层包括数据与虚拟模型的融合、数据驱动模型；功能服务层包括协作机器人转角、电压、电流等数据的实时可视化、利用多级模糊综合评价法对协作机器人的健康状态进行评估并实时呈现等；通过构建所述五层架构，实现协作机器人实体在运动过程中，虚拟模型跟随实体实时运动并展示协作机器人运动过程中的实时数据，达到状态监测的目的。2.根据权利要求1所述，物理实体为六自由度协作机器人，是构建协作机器人远程监测系统的主体，是整个监测系统的数据来源。3.根据权利要求1所述，虚拟模型绘制与简化层，是监测系统的呈现主体，物理实体的实时状态数据都需要在虚拟模型中呈现，采用基于二次误差矩阵的简化边折叠算法对虚拟3d模型进行简化，可以保证在由多层次结构物体组成的场景当中，在保留实体特征及描述细节的前提下，减少在实时渲染过程中系统资源的耗费，加快显示速度，提高监测效率。4.根据权利要求1所述，数据采集与传输层，是监测系统的数据处理中心，是功能服务层的基础，通过采集协作机器人驱动电机的实时转角、电压、电流、温度等信息，为虚实连接层、功能服务层提供数据支撑，转角数据通过编写接口读取电机自带的编码器数据记录得到，电压、电流、温度、转速等数据由协作机器人自带传感器进行采集，再通过接口读取伺服电机控制器数据进行读取。所有读取的数据会持久化至数据库(如mysql数据库)中，便于功能服务层进行数据分析与呈现。5.根据权利要求1所述，虚实连接层，是物理实体数据映射至虚拟模型的过程，对于协作机器人运动状态，首先获取权利要求4中持久化至数据库中的转角数据，然后机器人自由度对虚拟模型进行划分，在满足机器人运动学的基础上将各个自由度的转角数据赋值给虚拟模型对应的自由度上，达到实时呈现协作机器人运动状态的目的。对于电压、电流、温度、转速等数据获取的方式相同。6.根据权利要求1所述，功能服务层，是整个远程监测系统的最终呈现层，首先获取权利要求4中持久化至数据库中的历史数据，对于各指标数据进行可视化呈现，针对数据特点的不同选择折线图、饼形图、仪表盘等图表对数据进行可视化呈现；利用多级模糊综合评判法对协作机器人总体健康状态进行评估，评估结果分为健康、良好、适中、故障四个等级，从而对于任一时刻协作机器人的状态进行检测和评估。7.根据权利要求1所述的基于数字孪生的协作机器人远程监测系统，其特征在于：利用虚拟现实技术对虚拟场景进行呈现，提供全场景沉浸式体验；采用心电折线图等图表对各指标数据进行实时呈现，具有直观清晰的特点；采用的模糊综合评判法结合了近期历史数据特征进行隶属度函数的建立，从而得到最符合当前状态的隶属度矩阵，从而得出系统健康状态，该方法的优点在于不需要大量历史数据及复杂模型的训练过程，大大减少了系统状态的评估时间，具有良好的实时性和准确性。

技术总结
本发明专利提供了一种基于数字孪生的协作机器人远程监测系统与方法，所述监测系统基于数字孪生五维模型概念，以协作机器人为例，构建数字孪生远程监测系统。与传统远程监测系统相比，本发明有以下特点：实时性，数据来源于传感器，可以更准确反映出所监测对象的状态；持久性，数据最终会持久化至数据库中，便于对数据进行分析与处理；低时延，对虚拟模型进行简化，降低系统实时渲染的资源与时间消耗，增强实时性；实时健康状态评估，本发明采用模糊综合评价法实时评估机器人健康度，不需要大量历史数据训练模型，评估响应快。本发明可应用于复杂装备的人机共融场景的远程监测，可实时掌握装备状态，及时预警，减少安全事故的发生。减少安全事故的发生。减少安全事故的发生。


技术研发人员：褚明 王宁 张歆悦
受保护的技术使用者：北京邮电大学
技术研发日：2021.11.25
技术公布日：2022/3/8