一种基于深度学习的结构光焊缝曲线识别与拟合方法

1.本发明属于焊缝跟踪技术领域，尤其涉及一种基于深度学习的结构光焊缝曲线识别与拟合方法。


背景技术：

2.基于机器视觉的自主焊接技术的关键是焊缝识别跟踪技术，涉及到图像识别处理、三维建模、机器人运动控制等多项技术。将视觉技术应用于现代焊接技术上，可以利用视觉技术获得的数据，例如焊缝路径、工件尺寸等。再根据这些数据做出反馈，使其能自主的对外界变化做出一定的响应，具有一定的感知、应变能力。现代焊接技术要求其依托深度学习和人工智能技术实现对工作环境的感知和判断，自主编程规划焊接轨迹并依靠调整焊接参数，从而提升焊接质量、效率和焊接稳定性。
3.随着计算机硬件性能的显著提升和数据样本的大量增加，以卷积神经网络(convolutional neural networks，cnn)为基础的深度网络开始成为目标检测技术的主流。目前，基于深度学习的目标检测技术能同时做到实时性的目标分类和目标定位，在准确度和抗干扰程度上都取得较好的效果。


技术实现要素：

4.本发明提供一种基于深度学习的结构光焊缝曲线识别与拟合方法，以实现焊接前的焊缝类型识别和焊缝图像分割。
5.本发明采取的技术方案是，包括下列步骤：
6.步骤一：采集焊缝图像并制作数据集；
7.步骤二：构建改进u-net网络模型；
8.步骤三：利用改进后的u-net网络模型进行焊缝图像分割；
9.步骤四：基于结构光的中心线提取和焊缝特征点计算；
10.步骤五：基于焊缝特征点拟合焊缝曲线
11.所述步骤一有以下子步骤：
12.步骤1.1：结构光焊缝图像采集，对工业相机实时采集的图像信息，按0.2秒的时间间隔进行拆帧处理，得到拆帧后的多幅图像；
13.步骤1.2：对步骤1.1中获取的焊缝图像进行信息标注，制作焊缝图像数据集。使用的原始图像数据集为高分辨率工业数码相机采集的焊缝800个原始图像训练数据、200个验证数据和100个测试数据。
14.所述步骤二中具体有以下子步骤：
15.步骤2.1：首先改进特征提取网络模块；改进u-net网络结构的编码器部分由5个模块组成，前两个模块都是由2个卷积层和1个池化层组成，后三个模块都是由3个卷积层和1个池化层组成，解码器仍使用u-net网络结构的解码器部分，这个部分由4个模块组成，前3个模块每个模块都由2个卷积层和1个升尺度池化层组成，第4个模块由3个卷积层组成，编、
解码层间的跳跃连接，将编码块卷积层提取的特征图和解码块中升尺度池化层输出的特征图拼接，融合底层的位置信息和高层的语义信息；
16.步骤2.2：在步骤2.1提出的改进的特征提取模块中改进激活函数；将步骤2.1中的卷积池化层中激活函数采用elu激活函数，激活函数可以判断这种特征提取方式是否能在该块区域提取到特征，elu公式如下：
[0017][0018]
其中，a为常数，xi为某节点，fi为输出结果；
[0019]
步骤2.3：选定步骤2.1中改进网络中的优化器、损失函数与评价指标，本网络使用adam优化器，选择dice损失函数作为网络的损失函数，其表达式如下：
[0020][0021]
其中：|x∩y|表示集合x和y的交集，x和y表示其元素个数，对于分割任务而言，|x|和|y|分别表示分割的真实图像和预测分割图像；
[0022]
改进网络采用正确率(p)、召回率(r)和综合评价指标(f1)来对网络性能进行评估，正确率(p)，召回率(r)和综合评价指标(f1)的表达式如下：
[0023][0024]
其中：tp表示实际标签为正样本、预测为正样本的数目；fn表示实际样本为负样本、预测为正样本的数目；fp表示实际标签为负样本、预测结果为正样本的数目，f1为组合精确度和召回率一个单独的得分，被定义为精确度和召回率的平均数，
[0025]
adam优化器更新公式如下：
[0026][0027]
其中是mt的纠正，是v
t
的纠正；
[0028][0029][0030]
β1β2是常数，控制指数衰减，m
t
是梯度的指数移动均值，通过梯度的一阶矩求得，v
t
是平方梯度，通过梯度的二阶矩求得，m
t
和v
t
的更新如下公式：
[0031]mt
＝β1*m
t-1
+(1-β1)*g
t
[0032]vt
＝β2*v
t-1
+(1-β2)*g
2t
[0033]gt
为一阶导，以上所有参数默认设置为：α＝0.001、β1＝0.9、β2＝0.999、ε＝10-8
；
[0034]
所述步骤三中具体有以下子步骤：
[0035]
步骤3.1：对步骤二中改进u-net网络模型进行预训练，将步骤1.2中得到的标注出焊缝信息的训练集，进行图像去噪增强预处理，然后输入改进后的u-net预训练网络，对网络模型进行训练，
[0036]
步骤3.2：对步骤1.1中采集到的结构光焊缝图像进行图像去噪处理，并利用改进后的u-net网络模型进行焊缝图像分割；
[0037]
所述步骤四中具体有以下子步骤：
[0038]
步骤4.1：使用灰度重心法提取步骤3.2中得到的分割后的激光条纹焊缝图片，利用激光条纹法线方向的灰度变化特点，结合条纹坐标值，以灰度值加权计算出的重心点作为条纹中心位置，然后把所有中心位置连接成一条平滑的中心线；
[0039]
步骤4.2：对步骤4.1中提取的光条中心线选择线段的交叉点来计算焊缝特征点的位置，对接焊缝(butt weld)的焊缝特征点即为图中左右两条线段的端点，对接v型焊缝(butt weld)的焊缝特征点即为图中三点拟合的两条线段的交点，t型焊缝(fillet weld)的焊接特征点为两条拟合光条中心线段的交点。
[0040]
所述步骤五：利用步骤4.2中获取的焊缝特征点坐标集合，采用三次nurbs曲线拟合出焊缝曲线，该算法可以排除提取出错或者分布差异很大的焊缝特征点，从而提高焊缝线拟合算法的稳定性。
[0041]
本发明的优点和有益效果是：使用的改进u-net网络可以实现精准的语义分割，该架构可以获得很高的分割精度，同时保持良好的效率，可以在保证准确性的同时维持着识别的高效性。这种方法通过建立深度学习模型进行特征提取，建立了焊缝图像端到端像素级分类，实现焊缝条纹和干扰背景分割，这种端到端的训练方式不需要进行特征提取的存储，极大的减少了内存的占用，尽可能地缩短检测时间，提升检测速率，不仅可以实现像素级分类,还可以实现对前景目标的精确定位,在提高模型检测准确性的同时，提升模型检测速率，增强有效性与实时性。它简化了提取焊缝图像的结构光条中心线的操作步骤。提高了中心线的提取精度，节省了图像预处理过程所用的时间，提高检测的实时性。这种方法省略了人工复杂操作，为焊接图像处理方法提供了一个新的思路。深度学习方式可以从图像中精确快速地分割出焊缝目标并提取出其位置，从而为后续的焊缝中心线以及特征点提取工作提供参考。
附图说明
[0042]
图1是本发明的流程图；
[0043]
图2是工业相机采集的结构光焊缝图像；
[0044]
图3是标注信息后的图像；
[0045]
图4是改进u-net网络结构图；
[0046]
图5是elu函数图；
[0047]
图6是对接焊缝(butt weld)的特征点；
[0048]
图7是t型焊缝(t-fillet weld)的特征点。
具体实施方式
[0049]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
[0050]
具体步骤如图1所示，其中包括：
[0051]
步骤一：采集焊缝图像并制作数据集；
[0052]
步骤二：构建改进u-net网络模型；模型包括编码器和解码器，在编码器部分加深网络层次，可以整合不同深度层次的特征信息，图像经过多通道卷积，加强非线性表达，使得网络学习特征的能力更强，同时还可以避免大卷积核带来的参数爆炸的影响，能够提取更深层的特征信息。将图像输入后，按顺序经过一系列的卷积核和池化核，提取图像中的主要特征信息并对其进行压缩，以简化网络的计算复杂度。
[0053]
步骤三：利用改进后的u-net网络模型进行焊缝图像分割；
[0054]
步骤四：基于结构光的中心线提取和焊缝特征点计算；
[0055]
步骤五：基于焊缝特征点拟合焊缝曲线
[0056]
本发明的核心包括两部分：一部分是对待识别的焊缝部分进行图像分割，另一部分是对分割后的图像进行焊缝特征点提取。
[0057]
步骤1.1，由于焊缝结构光图像是在移动机器人上实时采集的，因此是一个动态采集过程。通常动态采集图片是从视频流中提取相应的像素帧，所以要求机器人运动和摄像头拍摄帧率要保持在合理的范围内，才能清晰成像。对工业相机实时采集的图像信息，按0.2秒的时间间隔进行拆帧处理，得到拆帧后的多幅图像如图2所示；
[0058]
本发明可以对图片像素进行标注，将步骤1.1中采集到的图像的大小调整到[320
×
320]大小，这样降低了网络模型训练的硬件资源成本和时间成本。图像标注工具对焊接线结构的光图像进行标注如图3所示，其中背景表示背景，对应的视觉rgb值为(0,0,0)。1001表示焊接，对应的视觉rgb值为(128,0,0)；
[0059]
步骤1.2：就是构建改进u-net网络模型，首先改进特征提取网络模块；改进u-net整体网络结构图如图4所示，编码器部分由5个模块组成，前两个模块都是由2个卷积层和1个池化层组成，后三个模块都是由3个卷积层和1个池化层组成。解码器仍使用u-net网络结构的解码器部分，这个部分由4个模块组成，前3个模块每个模块都由2个卷积层和1个升尺度池化层组成，第4个模块由3个卷积层组成。编-解码层中间通过跳跃连接的方式，将编码阶段获得的特征层同解码阶段获得的特征层结合在一起，结合深层次和浅层次的特征，细化图像，融合底层的位置信息和高层的语义信息根据得到的特征融合层进行预测分割；
[0060]
步骤2.1：在提出的改进的特征提取模块中改进激活函数；将卷积池化层中激活函数改用为elu激活函数，激活函数可以判断这种特征提取方式是否能在该块区域提取到特征，elu激活函数图像如图5所示，elu激活函数融合了sigmoid和relu两种激活函数，它有助于加快网络收敛速度，减轻梯度弥散问题，elu激活函数具有软饱和性，更具有鲁棒性，偏移更少且收敛更快，还具有一定的抗干扰能力，它的加入可以加快网络收敛和训练的速度，防止出现过度拟合的现象，elu公式如下：
[0061]
[0062]
其中，a为常数，xi为某节点，fi为输出结果。
[0063]
步骤2.3：选定本发明中改进网络中的优化器、损失函数与评价指标，本网络使用adam优化器，选择dice损失函数作为网络的损失函数，采用正确率p、召回率r和综合评价指标f1来对网络性能进行评估；
[0064]
adam优化器更新公式如下：
[0065][0066]
其中是m
t
的纠正，是v
t
的纠正；
[0067][0068][0069]
β1β2是常数，控制指数衰减，m
t
是梯度的指数移动均值，通过梯度的一阶矩求得，v
t
是平方梯度，通过梯度的二阶矩求得，m
t
和v
t
的更新如下公式：
[0070]mt
＝β1*m
t-1
+(1-β1)*g
t
[0071]vt
＝β2*v
t-1
+(1-β2)*g
2t
[0072]gt
为一阶导，以上所有参数默认设置为：α＝0.001、β1＝0.9、β2＝0.999、ε＝10-8
，
[0073]
改进后的u-net网络使用dice损失函数作为网络的损失函数，表达式如下：
[0074][0075]
其中：|x∩y|表示集合x和y的交集，x和y表示其元素个数，对于分割任务而言，|x|和|y|分别表示分割的真实图像和预测分割图像；
[0076]
改进后的u-net网络采用正确率p、召回率r和综合评价指标f1来对网络性能进行评估，正确率p、召回率r和综合评价指标f1的表达式如下：
[0077][0078]
其中：tp表示实际标签为正样本、预测为正样本的数目；fn表示实际样本为负样本、预测为正样本的数目；fp表示实际标签为负样本、预测结果为正样本的数目。f1为组合精确度和召回率一个单独的得分，被定义为精确度和召回率的平均数，f1越高，表示卷积网络分类模型性能越好，对应的数据增强方法越好；
[0079]
步骤3.1：对步骤二中改进u-net网络模型进行预训练，将步骤1.2中得到的标注出焊缝信息的训练集，进行图像去噪增强预处理，然后输入改进后的u-net预训练网络，对网络模型进行训练，
[0080]
步骤3.2：对步骤1.1中采集到的结构光焊缝图像随机选出测试图像，进行图像去
噪处理，并利用改进后的u-net网络模型进行焊缝图像分割，最后输出焊缝分割图片；
[0081]
步骤4.1：采用灰度重心法提取光条中心线，灰度中心法公式如下：
[0082][0083]
其中，是第i列焊缝中心的横坐标和纵坐标；jm是第i列焊缝的起点，jm+wv是第i列焊缝的终点，g(i,j)是图像坐标中点(i,j)的灰度值，yi是第i列的纵坐标；
[0084]
步骤4.2：以对接焊缝(butt weld)和t型焊缝(fillet weld)为例，对接焊缝(butt weld)的焊缝特征点即为图6中左右两条线段的端点，对接v型焊缝(butt weld)的焊缝特征点即为图6中三点拟合的两条线段的交点。t型焊缝(t-fillet weld)的焊接特征点即为图7中左右两条拟合光条中心线段的交点。本文利用灰度中心法获取的光条中心线的坐标，然后，可以根据拟合得到的几条直线来计算出特征点。
[0085]
步骤五，基于焊缝特征点拟合焊缝曲线：利用步骤4.2中获取的焊缝特征点坐标集合，采用三次nurbs曲线拟合出焊缝曲线，该算法可以排除提取出错或者分布差异很大的焊缝特征点，从而提高焊缝线拟合算法的稳定性，最终得到三次nurbs焊缝拟合曲线。
[0086]
综上，本发明提供的焊缝识别方法，针对噪声干扰下目标分割精度不够的问题，通过构建有效的深度学习模型，改善神经网络结构，利用其模型中的语义分割，对下采样与上采样阶段的特征图进行融合，将高层语义信息与低层细节信息融合起来，提高特征的表达能力，将融合后的不同层次的特征图用于最终的目标检测，进而获得更加丰富的图像信息。这种方式可以减小算法计算量，提高计算效率的同时提高中心线精度，能够有效消除焊缝图像中多种噪声及焊缝条纹自身宽度的干扰，可快速准确地提取出焊缝特征点的位置，拟合出误差在合理范围内的焊缝曲线。

技术特征：
1.一种基于深度学习的结构光焊缝曲线识别与拟合方法，其特征在于：包括下列步骤：步骤一：采集焊缝图像并制作数据集；步骤二：构建改进u-net网络模型；步骤三：利用改进后的u-net网络模型进行焊缝图像分割；步骤四：基于结构光的中心线提取和焊缝特征点计算；步骤五：基于焊缝特征点拟合焊缝曲线。2.根据权利要求1所述一种基于深度学习的结构光焊缝曲线识别与拟合方法，其特征在于：所述步骤一包括：步骤1.1：结构光焊缝图像采集，对工业相机实时采集的图像信息，按0.2秒的时间间隔进行拆帧处理，得到拆帧后的多幅图像；步骤1.2：对步骤1.1中获取的焊缝图像进行信息标注，制作焊缝图像数据集，使用的原始图像数据集为高分辨率工业数码相机采集的焊缝800个原始图像训练数据、200个验证数据和100个测试数据。3.根据权利要求1所述一种基于深度学习的结构光焊缝曲线识别与拟合方法，其特征在于：所述步骤二包括以下子步骤：步骤2.1：首先改进特征提取网络模块；改进u-net网络结构的编码器部分由5个模块组成，前两个模块都是由2个卷积层和1个池化层组成，后三个模块都是由3个卷积层和1个池化层组成，解码器仍使用u-net网络结构的解码器部分，这个部分由4个模块组成，前3个模块每个模块都由2个卷积层和1个升尺度池化层组成，第4个模块由3个卷积层组成，编、解码层间的跳跃连接，将编码块卷积层提取的特征图和解码块中升尺度池化层输出的特征图拼接，融合底层的位置信息和高层的语义信息；步骤2.2：在步骤2.1提出的改进的特征提取模块中改进激活函数；将步骤2.1中的卷积池化层中激活函数采用elu激活函数，激活函数可以判断这种特征提取方式是否能在该块区域提取到特征，elu公式如下：其中，a为常数，x
i
为某节点，f
i
为输出结果；步骤2.3：选定步骤2.1中改进网络中的优化器、损失函数与评价指标，本网络使用adam优化器，选择dice损失函数作为网络的损失函数，其表达式如下：其中：|x∩y|表示集合x和y的交集，x和y表示其元素个数，对于分割任务而言，|x|和|y|分别表示分割的真实图像和预测分割图像；改进网络采用正确率p、召回率r和综合评价指标f1来对网络性能进行评估，正确率p，召回率r和综合评价指标f1的表达式如下：
其中：tp表示实际标签为正样本、预测为正样本的数目；fn表示实际样本为负样本、预测为正样本的数目；fp表示实际标签为负样本、预测结果为正样本的数目，f1为组合精确度和召回率一个单独的得分，被定义为精确度和召回率的平均数。4.根据权利要求1所述一种基于深度学习的结构光焊缝曲线识别与拟合方法，其特征在于：adam优化器更新公式如下：其中是m
t
的纠正，是v
t
的纠正；的纠正；β
1 β2是常数，控制指数衰减，m
t
是梯度的指数移动均值，通过梯度的一阶矩求得，v
t
是平方梯度，通过梯度的二阶矩求得，m
t
和v
t
的更新如下公式：m
t
＝β1*m
t-1
+(1-β1)*g
t
v
t
＝β2*v
t-1
+(1-β2)*g
2t
g
t
为一阶导，以上所有参数默认设置为：α＝0.001、β1＝0.9、β2＝0.999、ε＝10-8
。5.根据权利要求1所述一种基于深度学习的结构光焊缝曲线识别与拟合方法，其特征在于：所述步骤三包括以下子步骤：步骤3.1：对步骤二中改进u-net网络模型进行预训练，将步骤1.2中得到的标注出焊缝信息的训练集，进行图像去噪增强预处理，然后输入改进后的u-net预训练网络，对网络模型进行训练，步骤3.2：对步骤1.1中采集到的结构光焊缝图像进行图像去噪处理，并利用改进后的u-net网络模型进行焊缝图像分割。6.根据权利要求1所述一种基于深度学习的结构光焊缝曲线识别与拟合方法，其特征在于：所述步骤四包括以下子步骤：步骤4.1：使用灰度重心法提取步骤3.2中得到的分割后的激光条纹焊缝图片，利用激光条纹法线方向的灰度变化特点，结合条纹坐标值，以灰度值加权计算出的重心点作为条纹中心位置，然后把所有中心位置连接成一条平滑的中心线；步骤4.2：对步骤4.1中提取的光条中心线选择线段的交叉点来计算焊缝特征点的位置，对接焊缝的焊缝特征点即为图中左右两条线段的端点，对接v型焊缝的焊缝特征点即为图中三点拟合的两条线段的交点，t型焊缝的焊接特征点为两条拟合光条中心线段的交点。
7.根据权利要求1所述一种基于深度学习的结构光焊缝曲线识别与拟合方法，其特征在于：所述步骤五：利用步骤4.2中获取的焊缝特征点坐标集合，采用三次nurbs曲线拟合出焊缝曲线，该算法可以排除提取出错或者分布差异很大的焊缝特征点，从而提高焊缝线拟合算法的稳定性。

技术总结
本发明涉及一种基于深度学习的结构光焊缝曲线识别与拟合方法，属于焊缝跟踪技术领域，包括采集焊缝图像并制作样本数据集，构建了改进U-Net网络模型，模型包括卷积神经网络和反卷积神经网络，通过卷积神经网络提取待识别焊缝的图像特征，增强网络对图像边缘信息的提取，使网络更具通用性，利用改进后的U-Net网络模型进行焊缝图像分割，在对分割后的图片进行中心线和焊缝特征点提取，最后基于焊缝特征点拟合出待焊接的曲线。优点是，简化了提取焊缝图像的结构光条中心线的操作步骤，提高了中心线的提取精度，节省了图像预处理过程所用的时间，能够提高焊缝识别的精度和效率，节省了图像预处理过程所用的时间，提高检测的实时性。性。性。


技术研发人员：刘帅师 周思羽 白戎 刘克平 孙中波 廉宇峰 杨宏韬 于微波
受保护的技术使用者：长春工业大学
技术研发日：2021.12.03
技术公布日：2022/3/8