基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质与流程

基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质
1.技术领域
2.本发明涉及双面喷涂技术领域，具体涉及一种基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质。


背景技术：

3.目前，中国家具行业在经历了一个高速发展期后，初步建立起了相对完整的与国际接轨的工业体系，家具产品已经达到了满足人民生活需要和国际市场的需要。在未来的5到10年，中国家具行业将进入第二个高速发展期，定制家具相比于成品家具的竞争越来越大，实行全屋定制将会成为家具行业中的必然趋势。
4.一般而言，定制家具的订单尺寸规格、花纹样式各不相同，采用传统的定制生产模式成本高、效率低、生产周期长，现有技术方案存在的主要不足有：（1）目前主流的混流自动化喷涂设备是皮带流水线式，皮带流水线式可以实现混流喷涂，但无法实现双面喷涂，并且效率低，成本高，污染多；（2）传统示教编程操作繁琐，对装夹有要求，并且无法满足少批量、多品种的混流喷涂需求。


技术实现要素：

5.发明目的：针对现有技术中存在的问题，本发明提供一种基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质，可通过基于深度学习神经网络的构建和训练的视觉系统，即时完成对待喷涂板材的几何特征和姿态的识别，智能生成喷涂路径。
6.技术方案：本发明提供了一种基于视觉检测的混流板材双面喷涂方法，包括如下步骤：采集待喷涂工件图像，并对所述待喷涂工件图像进行预处理；将预处理后的图像输入至utransnet语义分割模型进行目标分割，提取出待喷涂工件轮廓；根据获取的待喷涂工件轮廓图输入至喷涂轨迹规划算法，结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；根据所述喷涂路径进行工件喷涂。
7.进一步地，所述待喷涂工件图像预处理操作包括：1）在获取图像阶段获取多张待喷涂工件图像，并对多张待喷涂工件图像的色彩与几何特征信息采集，利用多张图像残差计算生成权重w通道，与原图像合并生成rgbw图像；2）对于合成的rgbw图像进行中值滤波、对数增强的预处理操作；3）结合rgbw四通道信息初步提取待喷涂工件所在的roi区间。
8.进一步地，所述utransnet语义分割模型为u型编码器—解码器结构，其包括编码
部分、解码部分以及瓶颈层部分，具体为：所述utransnet语义分割模型将预处理后的图像特征分割成7x7个patch，patch的大小不固定，随着patch融合的操作而变化；然后使用linear embedding线性嵌入将patch编码成词向量后送入编码部分提取特征向量；所述编码部分使用三个transformer结构的编码器串行连接，transformer结构的编码器由一个patch融合和两个swin transformer模块组成；瓶颈层部分由两个swin transformer模块串行连接组成，衔接编码部分与解码部分；解码部分由三个解码器串行连接组成，每个解码器由一个patch合并扩展和两个swin transformer模块组成，最后在经过一个patch合并扩展和linear projection线性预测后，得到输出分割图；每阶对称的swin transformer模块通过跳跃连接交换特征图信息。
9.进一步地，所述喷涂轨迹规划算法以“之”字形覆盖表面与轮廓补喷为主，其方法具体为：1）创建与轮廓掩模图同尺寸的喷涂路径掩模图，其中背景像素编码为0，轮廓线像素编码为2，在喷涂路径掩模图上创建指定喷涂间隔的横或纵喷涂路径，路径上像素编码为1；将两个掩模图相加得到喷涂路径关键点掩模图，图中0为背景，1为背景上无效喷涂路径点，3为轮廓上喷涂路径关键点；2）使用[-1,1]卷积核对每条路径数组卷积处理，结果为3则为路径起始点，-3则为路径结束点，将每条路径的指定元素索引保存为喷涂路径关键点集。
[0010]
3）若标记序列为任意异形路径，进行构建坐标x、坐标y、索引值h三维数组，对其进行编码转换为标准序列；4）最后，对关键点集做插补后得到喷涂路径点集，获取喷涂路径。
[0011]
进一步地，所述喷涂轨迹规划算法还采用半监督学习优化模型进行喷涂轨迹优化，所述半监督学习优化模型包括如下步骤：从经验库中选取喷涂路径点数量、平均点间隔、喷涂时长近似的参数进行参数初始化，通过仿真计算漆料堆叠均匀度、覆盖率、消耗量、喷涂时长，调整喷枪移动速度、加速度、高度、流量使得上述指标更趋于理想目标值，反复迭代得到最适合当前路径的喷涂参数方案，并将该套方案记录在经验库中，用于形近路径的参数初始化，相当于生成期望结果伪标签，优化喷涂轨迹规划算法参数。
[0012]
本发明还公开了一种基于视觉检测的混流板材双面喷涂装置，包括壳体、主控制器和吊挂流水线，所述壳体内设置有视觉检测机构和喷涂作业机构；所述壳体左右两端均开设缺口，所述吊挂流水线贯穿所述缺口设置于壳体内；所述视觉检测机构包括彩色工业相机、背光板和第一光电开关，所述第一光电开关设置于壳体内的视觉检测机构初始位置，所述彩色工业相机正对所述吊挂流水线设置，与所述彩色工业相机相对的吊挂流水线另一端设置有背光板；所述喷涂作业机构位于所述视觉检测机构下一环节，包括一对设置于吊挂流水线两侧的工业机器人、设置于喷涂作业机构初始位置的第二光电开关，所述工业机器人其末
端设置有喷枪；喷枪、工业机器人、吊挂流水线的驱动控制机构、彩色工业相机、第一光电开关、第二光电开关均与主控制器连接，所述主控制器中设置有权利要求1至5任一所述的基于视觉检测的混流板材双面喷涂方法。
[0013]
优选地，所述喷涂作业机构还包括水槽和漆雾回收设备，所述水槽设置于两个工业机器人之间的吊挂流水线下方，所述漆雾回收设备设置于所述壳体内。
[0014]
本发明还公开了一种基于视觉检测的混流板材双面喷涂系统，包括：图像获取模块，用于获取待喷涂工件图像；图像预处理模块，用于对待喷涂工件图像进行预处理；目标分割模块，用于将预处理后的图像输入至utransnet语义分割模型进行目标分割，提取出待喷涂工件轮廓；喷涂路径生成模块，用于根据获取的待喷涂工件轮廓图并结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；喷涂路径执行模块，用于控制各部件执行喷涂路径。
[0015]
优选地，还包括喷涂路径优化模块，用于采用半监督学习优化模型对喷涂轨迹进行喷涂轨迹优化。
[0016]
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的混流板材双面喷涂方法的步骤。
[0017]
有益效果：1、本发明提供的一种基于视觉检测的混流板材双面喷涂方法，可通过基于深度学习神经网络的构建和训练的视觉系统，即时完成对待喷涂板材的几何特征和姿态的识别，智能生成喷涂路径。该方法自动生成喷涂路径，实现双面喷涂，提高了喷涂作业效率。
[0018]
2、本发明的图像数据在实时性的基础上做了多张合成的图像增强预处理，利用了多张图像的合成工作，快速高效地初步提取出roi区间，节省了大量无效分割运算。对rgb三通道图像增加权重w通道，对区域的变化程度进行量化描述，生成一张rgbw四通道图像，确保后续图像算法执行效率并有助于喷涂轨迹的高质量生成。
[0019]
3、本发明采用的utransnet语义分割模型为编码器—解码器结构，采用图像金字塔思想，对高分辨率图像进行多级检测，并合并宏观到微观的分割结果，非常适合工业场景对低延时的需求。利用utransnet语义分割模型可以进行局部+全局的语义特征学习，提供置信度更高、更精准的分割结果。
[0020]
4、本发明喷涂轨迹算法模块中还采用半监督学习设计，可根据喷涂质量、喷涂效率等结果，通过经验库反馈接口对规划算法进行结果反馈，生成期望结果伪标签，优化规划算法参数，达到智能化、自适应化的效果。
附图说明
[0021]
图1为本发明的混流板材双面喷涂装置整体机构示意图；图2为本发明的混流板材双面喷涂装置壳体内部结构示意图；图3为本发明壳体内部正视图；图4为本发明utransnet语义分割模型结构框图；
图5为本发明两个串连的swin transformer模块结构框图；图6为本发明喷涂轨迹生成方法示意图；图7为本发明生成的喷涂轨迹示意图；图8为本发明标准喷涂轨迹生成方法示意图；图9为本发明任意喷涂轨迹生成方法示意图；图10为本发明半监督学习优化流程示意图。
[0022]
其中，1—视觉检测机构；11—彩色工业相机；12—背光板；13—相机支撑架；14—背光板支撑架；15—第一光电开关；16—壳体；2—喷涂作业机构；21—工业机器人；22—水槽；23—漆雾回收设备；24—第二光电开关；3—主控制器；4—吊挂流水线。
具体实施方式
[0023]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0024]
本发明公开了一种基于视觉检测的混流板材双面喷涂方法，该方法设置于如图1至3所述的装置中，该装置包括壳体16、主控制器3和吊挂流水线4，壳体16内设置有视觉检测机构1和喷涂作业机构2；壳体16左右两端均开设缺口，吊挂流水线4贯穿缺口设置于壳体16内。
[0025]
视觉检测机构1包括彩色工业相机11、背光板12和第一光电开关15，第一光电开关15设置于壳体16内的视觉检测机构1初始位置，彩色工业相机11正对吊挂流水线4设置，与彩色工业相机11相对的吊挂流水线4另一端设置有背光板12。背光板12利用背光板支撑架14设置设置，彩色工业相机11利用相机支撑架支撑。
[0026]
喷涂作业机构2位于视觉检测机构1下一环节，包括一对设置于吊挂流水线4两侧的工业机器人21、设置于喷涂作业机构2初始位置的第二光电开关24，工业机器人21其末端设置有喷枪。
[0027]
喷枪、工业机器人21、吊挂流水线4的驱动控制机构、彩色工业相机11、第一光电开关15、第二光电开关24均与主控制器3连接，主控制器3中设置有基于视觉检测的混流板材双面喷涂方法。
[0028]
喷涂作业机构2还包括水槽22和漆雾回收设备23，水槽22设置于两个工业机器人21之间的吊挂流水线4下方，漆雾回收设备23设置于壳体16内。在该装置工作时，首先将待喷涂的目标工件通过吊挂流水线4先进入视觉检测机构1，工件通过视觉检测机构1入口处第一光电开关15时，触发打开背光板12和彩色工业相机11，工件通过第一光电开关15后，吊挂流水线4不停止，工件在背光板12前缓慢移动过程中，相机多次采集图像，并记录第一光电开关15的触发时长。彩色工业相机11对工件进行色彩与几何特征信息采集，通过多张图像残差计算生成权重w通道，与原图合并生成rgbw图像，并将图像信息传输给控制器进行处理。
[0029]
控制器中设置的基于视觉检测的混流板材双面喷涂方法包括如下步骤：步骤1：采集待喷涂工件图像，并对待喷涂工件图像进行预处理。
[0030]
待喷涂工件图像预处理操作包括：1）在获取图像阶段获取多张待喷涂工件图像，并对多张待喷涂工件图像的色彩与
几何特征信息采集，利用多张图像残差计算生成权重w通道，与原图像合并生成rgbw图像；2）对于合成的rgbw图像进行中值滤波、对数增强的预处理操作；3）结合rgbw四通道信息初步提取待喷涂工件所在的roi区间。
[0031]
步骤2：将预处理后的图像输入至utransnet语义分割模型进行目标分割，提取出待喷涂工件轮廓。
[0032]
utransnet语义分割模型为u型编码器—解码器结构，其包括编码部分、解码部分以及瓶颈层部分，参见附图2，具体为：utransnet语义分割模型将预处理后的图像特征分割成7x7个patch，patch的大小不固定，随着patch融合的操作而变化；然后使用linear embedding线性嵌入将patch编码成词向量后送入编码部分提取特征向量；编码部分使用三个transformer结构的编码器串行连接，transformer结构的编码器由一个patch融合和两个swin transformer模块组成；瓶颈层部分由两个swin transformer模块串行连接组成，衔接编码部分与解码部分；解码部分由三个解码器串行连接组成，每个解码器由一个patch合并扩展和两个swin transformer模块组成，最后在经过一个patch合并扩展和linear projection线性预测后，得到输出分割图；每阶对称的swin transformer模块通过跳跃连接交换特征图信息。
[0033]
swin transformer模块由layer norm层归一化、w-msa窗口信息交流、layer norm层归一化、mlp多层感知机串行组成，并且输入与w-msa输出融合再送入下一层，该次融合结果与mlp输出融合后作为最后输出，一般至少使用2个swin transformer模块串行连接作为一个基本单元。
[0034]
本发明设计的utransnet语义分割模型通过注意力计算先知道不重叠的局部窗口，还允许跨窗口连接，各层级通过跳跃连接被送到基于transformer的解码器结构中，进行语义特征学习，最终输出进行目标分割后的分割图。
[0035]
步骤3：根据获取的待喷涂工件轮廓图输入至喷涂轨迹规划算法，结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径。
[0036]
喷涂轨迹规划算法以“之”字形覆盖表面与轮廓补喷为主，其方法具体为：1）创建与轮廓掩模图同尺寸的喷涂路径掩模图，其中背景像素编码为0，轮廓线像素编码为2，在喷涂路径掩模图上创建指定喷涂间隔的横或纵喷涂路径，路径上像素编码为1；将两个掩模图相加得到喷涂路径关键点掩模图，图中0为背景，1为背景上无效喷涂路径点，3为轮廓上喷涂路径关键点；2）使用[-1,1]卷积核对每条路径数组卷积处理，结果为3则为路径起始点，-3则为路径结束点，将每条路径的指定元素索引保存为喷涂路径关键点集。
[0037]
3）若标记序列为任意异形路径，进行构建坐标x、坐标y、索引值h三维数组，对其进行编码转换为标准序列；4）最后，对关键点集做插补后得到喷涂路径点集，获取喷涂路径。
[0038]
喷涂轨迹规划算法还采用半监督学习优化模型进行喷涂轨迹优化，所述半监督学习优化模型包括如下步骤：从经验库中选取喷涂路径点数量、平均点间隔、喷涂时长近似的参数进行初始化，通过仿真计算漆料堆叠均匀度、覆盖率、消耗量、喷涂时长，调整喷枪移动速度、加速度、高度、流量使得上述指标更趋于理想目标值，反复迭代得到最适合当前路径的喷涂参数方案，并将该套方案记录在经验库中，用于形近路径的参数初始化，相当于生成期望结果伪标签，优化喷涂轨迹规划算法参数。
[0039]
完成喷涂轨迹路径传输后，吊挂流水线4启动运行，将工件送出视觉检测机构1，送入下一个喷涂作业机构2。工件经过喷涂作业机构2入口处的第二光电开关24后，触发吊挂流水线4后开始喷涂，工件在两台工业机器人21中间继续缓慢运行，同时记录第二光电开关24的触发时长，控制器通过对比两次触发时长，对工件位置进行定位。2个工业机器人21先后完成板材的正面、反面喷涂及轮廓喷涂。
[0040]
喷涂完成后，吊挂流水线4启动，将喷涂完成的工件送出喷涂作业机构2，进入后续烘干等一系列工序操作间。
[0041]
水槽22在整个过程中都对空气中的漆雾进行溶解，漆雾回收设备23尽可能吸收空气中的漆雾，减少漆雾的外泄。如上循环作业，即可完成混流工件的自动化喷涂。
[0042]
一种基于视觉检测的混流板材双面喷涂系统，包括：图像获取模块，用于获取待喷涂工件图像；图像预处理模块，用于对待喷涂工件图像进行预处理；目标分割模块，用于将预处理后的图像输入至utransnet语义分割模型进行目标分割，提取出待喷涂工件轮廓；喷涂路径生成模块，用于根据获取的待喷涂工件轮廓图并结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；喷涂路径执行模块，用于控制各部件执行喷涂路径。
[0043]
还包括喷涂路径优化模块，用于采用半监督学习优化模型对喷涂轨迹进行喷涂轨迹优化。
[0044]
一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的混流板材双面喷涂方法的步骤。
[0045]
上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种基于视觉检测的混流板材双面喷涂方法，其特征在于，包括如下步骤：采集待喷涂工件图像，并对所述待喷涂工件图像进行预处理；将预处理后的图像输入至utransnet语义分割模型进行目标分割，提取出待喷涂工件轮廓；根据获取的待喷涂工件轮廓图输入至喷涂轨迹规划算法，结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；根据所述喷涂路径进行工件喷涂。2.根据权利要求1所述的基于视觉检测的混流板材双面喷涂方法，其特征在于，所述待喷涂工件图像预处理操作包括：1）在获取图像阶段获取多张待喷涂工件图像，并对多张待喷涂工件图像的色彩与几何特征信息采集，利用多张图像残差计算生成权重w通道，与原图像合并生成rgbw图像；2）对于合成的rgbw图像进行中值滤波、对数增强的预处理操作；3）结合rgbw四通道信息初步提取待喷涂工件所在的roi区间。3.根据权利要求1所述的基于视觉检测的混流板材双面喷涂方法，其特征在于，所述utransnet语义分割模型为u型编码器—解码器结构，其包括编码部分、解码部分以及瓶颈层部分，具体为：所述utransnet语义分割模型将预处理后的图像特征分割成7x7个patch，patch的大小不固定，随着patch融合的操作而变化；然后使用linear embedding线性嵌入将patch编码成词向量后送入编码部分提取特征向量；所述编码部分使用三个transformer结构的编码器串行连接，transformer结构的编码器由一个patch融合和两个swin transformer模块组成；瓶颈层部分由两个swin transformer模块串行连接组成，衔接编码部分与解码部分；解码部分由三个解码器串行连接组成，每个解码器由一个patch合并扩展和两个swin transformer模块组成，最后在经过一个patch合并扩展和linear projection线性预测后，得到输出分割图；每阶对称的swin transformer模块通过跳跃连接交换特征图信息。4.根据权利要求1所述的基于视觉检测的混流板材双面喷涂方法，其特征在于，所述喷涂轨迹规划算法以“之”字形覆盖表面与轮廓补喷为主，其方法具体为：1）创建与轮廓掩模图同尺寸的喷涂路径掩模图，其中背景像素编码为0，轮廓线像素编码为2，在喷涂路径掩模图上创建指定喷涂间隔的横或纵喷涂路径，路径上像素编码为1；将两个掩模图相加得到喷涂路径关键点掩模图，图中0为背景，1为背景上无效喷涂路径点，3为轮廓上喷涂路径关键点；2）使用[-1,1]卷积核对每条路径数组卷积处理，结果为3则为路径起始点，-3则为路径结束点，将每条路径的指定元素索引保存为喷涂路径关键点集；3）若标记序列为任意异形路径，进行构建坐标x、坐标y、索引值h三维数组，对其进行编码转换为标准序列；4）最后，对关键点集做插补后得到喷涂路径点集，获取喷涂路径。5.根据权利要求4所述的基于视觉检测的混流板材双面喷涂方法，其特征在于，所述喷
涂轨迹规划算法还采用半监督学习优化模型进行喷涂轨迹优化，所述半监督学习优化模型包括如下步骤：从经验库中选取喷涂路径点数量、平均点间隔、喷涂时长近似的参数进行参数初始化，通过仿真计算漆料堆叠均匀度、覆盖率、消耗量、喷涂时长，调整喷枪移动速度、加速度、高度、流量使得上述指标更趋于理想目标值，反复迭代得到最适合当前路径的喷涂参数方案，并将该套方案记录在经验库中，用于形近路径的参数初始化，相当于生成期望结果伪标签，优化喷涂轨迹规划算法参数。6.一种基于权利要求1至5任一所述的基于视觉检测的混流板材双面喷涂装置，其特征在于，包括壳体、主控制器和吊挂流水线，所述壳体内设置有视觉检测机构和喷涂作业机构；所述壳体左右两端均开设缺口，所述吊挂流水线贯穿所述缺口设置于壳体内；所述视觉检测机构包括彩色工业相机、背光板和第一光电开关，所述第一光电开关设置于壳体内的视觉检测机构初始位置，所述彩色工业相机正对所述吊挂流水线设置，与所述彩色工业相机相对的吊挂流水线另一端设置有背光板；所述喷涂作业机构位于所述视觉检测机构下一环节，包括一对设置于吊挂流水线两侧的工业机器人、设置于喷涂作业机构初始位置的第二光电开关，所述工业机器人其末端设置有喷枪；喷枪、工业机器人、吊挂流水线的驱动控制机构、彩色工业相机、第一光电开关、第二光电开关均与主控制器连接，所述主控制器中设置有权利要求1至5任一所述的基于视觉检测的混流板材双面喷涂方法。7.根据权利要求6所述的基于视觉检测的混流板材双面喷涂装置，其特征在于，所述喷涂作业机构还包括水槽和漆雾回收设备，所述水槽设置于两个工业机器人之间的吊挂流水线下方，所述漆雾回收设备设置于所述壳体内。8.一种基于权利要求1至5任一所述的基于视觉检测的混流板材双面喷涂系统，其特征在于，包括：图像获取模块，用于获取待喷涂工件图像；图像预处理模块，用于对待喷涂工件图像进行预处理；目标分割模块，用于将预处理后的图像输入至utransnet语义分割模型进行目标分割，提取出待喷涂工件轮廓；喷涂路径生成模块，用于根据获取的待喷涂工件轮廓图并结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；喷涂路径执行模块，用于控制各部件执行喷涂路径。9.根据权利要求8所述的基于视觉检测的混流板材双面喷涂系统，其特征在于，还包括喷涂路径优化模块，用于采用半监督学习优化模型对喷涂轨迹进行喷涂轨迹优化。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的混流板材双面喷涂方法的步骤。

技术总结
本发明涉及双面喷涂技术领域，公开了一种基于视觉检测的混流板材双面喷涂方法、装置、系统及存储介质，采集待喷涂工件图像，并对所述待喷涂工件图像进行预处理；将预处理后的图像输入至UTransNet语义分割模型进行目标分割，提取出待喷涂工件轮廓；根据获取的待喷涂工件轮廓图输入至喷涂轨迹规划算法，结合预设的含有喷枪类型、工艺方法、示教喷涂路径速度、加速度参数的经验库，获取待喷涂工件的喷涂路径；根据喷涂路径进行工件喷涂。另外还公开了利用该双面喷涂方法对应的双面喷涂装置及系统。与现有技术相比，本发明通过基于深度学习神经网络的构建和训练的视觉系统，完成对待喷涂板材的几何特征和姿态的识别，智能生成喷涂路径。路径。路径。


技术研发人员：赵泽政 白惠心 邢向华 阮俊 姚晓晖 雷景贵 黄佳莹 吴亢 姜楠
受保护的技术使用者：航天科工深圳（集团）有限公司
技术研发日：2021.11.25
技术公布日：2022/3/8