一种检测焊接工艺参数的焊接辅助方法和系统与流程

1.本说明书涉及焊接技术领域，特别涉及一种检测焊接工艺参数的焊接辅助方法和系统。


背景技术：

2.由于焊接工艺的复杂性，在焊接过程中容易受到各种因素的影响，例如，焊接材料、焊接电流、焊接电压、焊接速度、焊接温度等，从而导致最终焊接的产品的焊缝可能出现未焊透、未熔合、气孔、咬边以及裂纹等缺陷。
3.因此，需要提供一种检测焊接工艺参数的焊接辅助方法，以便对焊接过程中发生的问题进行及时监控，有利于及时对问题进行修正并采取相应补救措施。


技术实现要素：

4.本说明书实施例之一提供一种检测焊接工艺参数的焊接辅助方法，所述方法包括：
5.接收测温单元获取的焊接温度信息；采集控制指令，基于所述控制指令控制摄像单元获取焊接视频；从所述焊接视频中确定目标图像；将所述目标图像及其对应的所述焊接温度信息上传至服务平台；获取所述服务平台下发的焊接反馈信息。
6.本说明书实施例之一提供一种检测焊接工艺参数的焊接辅助系统，所述系统包括：
7.接收模块，用于接收测温单元获取的焊接温度信息；获取模块，用于采集控制指令及基于所述控制指令控制摄像单元获取焊接视频；确定模块，用于从所述焊接视频中确定目标图像；传输模块，用于将所述目标图像及其对应的所述焊接温度信息上传至服务平台，及获取所述服务平台下发的焊接反馈信息。
8.本说明书实施例之一提供一种检测焊接工艺参数的焊接辅助装置，包括处理器，所述处理器用于执行所述检测焊接工艺参数的焊接辅助方法。
9.本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行所述检测焊接工艺参数的焊接辅助方法。
附图说明
10.本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
11.图1是根据本说明书一些实施例所示的焊接辅助系统的应用场景示意图；
12.图2是根据本说明书一些实施例所示的焊接辅助系统的示例性模块图；
13.图3是根据本说明书一些实施例所示的焊接反馈信息的获取流程的示例性流程
图；
14.图4是根据本说明书一些实施例所示的数据采集设备的位置调节流程方法的示例性流程图；
15.图5是根据本说明书一些实施例所示的图像识别模型的训练流程的示例性示意图；
16.图6是根据本说明书一些实施例所示的图像识别模型的训练流程的示例性示意图。
具体实施方式
17.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
18.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
19.如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
20.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
21.图1是根据本说明书一些实施例所示的焊接辅助系统的应用场景示意图。
22.如图1所示，本说明书实施例所涉及的应用场景100可以包括服务器110、网络120、用户终端130、存储设备140、焊接设备150、数据采集设备160以及调节设备170。
23.在一些实施例中，焊接辅助系统可以通过实施本说明书中披露的方法和/或过程来实现检测焊接工艺参数的工作。
24.在一个典型的应用场景中，服务器110可以经由网络120获取数据采集设备160在焊接设备150进行焊接时，采集的数据信息(例如，焊接视频、焊接温度信息等)，并通过网络120将数据采集设备160采集的数据信息上传至服务平台，服务平台可以通过采集的数据确定焊接反馈信息。在一些实施例中，服务平台可以由服务器110或用户终端130实现。同时，服务器110还可以对数据采集设备160采集的数据信息进行图像识别处理，以确定数据采集设备160的作业位置，从而控制调节设备170的移动。
25.上述方式仅为方便理解，本系统亦可以其他可行的操作方式实施本实施例中的方法。
26.服务器110可以用于获取信息，并对收集的信息进行分析加工。在一些实施例中，
服务器110可以用于获取数据采集设备160采集的信息并生成关于焊接设备150的焊接质量的焊接反馈信息。在一些实施例中，服务器110可以基于获取到的信息确定用于控制调节设备170移动的控制信息并生成控制指令下发至调节设备170。
27.在一些实施例中，服务器110可以包括中央处理单元(cpu)、数字信号处理器(dsp)等和/或其任意组合。在一些实施例中，服务器110可以是本地的、远程的、或在云平台上实现。在一些实施例中，服务器110或服务器110的一部分可以集成到数据采集设备160中。
28.网络120可以提供信息交换的渠道。在一些实施例中，服务器110、用户终端130、存储设备140、数据采集设备160、调节设备170之间可以通过网络120交换信息。例如，服务器110可以通过网络120接收数据采集设备160采集的关于焊接的相关数据信息(例如，焊接温度信息、焊接视频等)。又例如，服务器110可以通过网络120读取存储设备140存储的数据。
29.用户终端130指用户所使用的一个或多个终端设备或软件。在一些实施例中，用户终端130可以是移动设备130-1、平板计算机130-2、膝上型计算机130-3、台式计算机130-4等其他具有输入和/或输出功能的设备中的一种或其任意组合。在一些实施例中，用户终端130可以作为数据接收方的数据接收设备及显示终端，用于接收及显示收到的数据信息。在一些实施例中，用户终端130可以用于经由网络120获取并显示数据采集设备160采集的数据和/或信息、工作状态等，还可以用于经由网络120获取并显示服务器110处理得到的焊接反馈信息等。在一些实施例中，用户终端130还可以作为远程监控终端，用于监控并获取焊接设备150、数据采集设备160及调节设备170的工作信息(例如，焊接设备150的工作状态、数据采集设备160的作业位置、调节设备170的移动位置等)，并将其工作信息经由网络120发送给服务器110，以便服务器110进行后续的处理。
30.上述示例仅用于说明所述用户终端130设备范围的广泛性而非对其范围的限制。
31.存储设备140可以用于存储数据和/或指令。在一些实施例中，存储设备140可以从例如服务器110、用户终端130、数据采集设备160等获得数据和/或指令。在一些实施例中，存储设备140可以储存服务器110用来执行或使用以完成本说明书中描述的示例性方法的数据和/或指令。
32.焊接设备150可以是实现焊接所需要的设备。在一些实施例中，焊接设备150可以包括电焊机、火焰焊设备等。在一些实施例中，焊接设备150可以由工作台和焊枪头组成，其中，工作台可以用于承载被焊接的物体和提供进行焊接的场所，焊枪头可以用于执行焊接操作。
33.数据采集设备160可以用于采集与焊接相关的数据信息。在一些实施例中，数据采集设备160可以在焊接设备150进行焊接时，采集与焊接相关的数据信息(例如，视频数据、图像数据、温度数据等)。在一些实施例中，数据采集设备160可以包括测温单元160-1、摄像单元160-2。在一些实施例中，测温单元160-1可以在焊接过程中采集焊接时的温度数据。在一些实施例中，测温单元160-1可以包括一个或多个红外测温枪。在一些实施例中，摄像单元160-2可以在焊接过程中拍摄焊接视频。在一些实施例中，摄像单元160-2可以包括一个或多个摄像头。
34.调节设备170可以用于调节数据采集设备160的作业位置。在一些实施例中，调节设备170可以包括第一调节臂170-1和第二调节臂170-2，其中，第一调节臂170-1可以用于承载测温单元160-1，还可以用于调整测温单元160-1的作业位置，第二调节臂170-2可以用
于承载摄像单元160-2还可以用于调整摄像单元160-2的作业位置。在一些实施例中，调节设备170可以由机械臂组成。
35.如图2所示，在一些实施例中，焊接辅助系统200可以包括接收模块210、获取模块220、确定模块230、传输模块240、处理模块250和控制模块260。
36.接收模块210可以用于接收测温单元获取的焊接温度信息。在一些实施例中，接收模块210可以与测温单元通信连接以获取焊接温度信息。
37.获取模块220可以用于采集控制指令，并基于该控制指令控制摄像单元获取焊接视频。
38.确定模块230可以用于从焊接视频中确定目标图像。
39.传输模块240可以用于将目标图像及其对应的焊接温度信息上传至服务平台，并获取服务平台下发的焊接反馈信息。
40.处理模块250可以用于基于对焊接视频或目标图像的图像识别处理，确定测温单元的目标作业位置及摄像单元的目标作业位置。
41.控制模块260可以用于基于测温单元的目标作业位置及摄像单元的目标作业位置控制第一调节臂及第二调节臂的移动，其中，第一调节臂用于调节测温单元的作业位置，第二调节臂用于调节摄像单元的作业位置。
42.在一些实施例中，接收模块210、获取模块220、确定模块230、传输模块240、处理模块250和控制模块260均可以由具备相应功能的移动设备终端实现。关于各模块的更多功能实现的说明参见图3、4的具体内容。
43.需要注意的是，以上对于候选项显示、确定系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图2中披露的接收模块210、获取模块220和确定模块230模块可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
44.图3是根据本说明书一些实施例所示的焊接反馈信息的获取流程的示例性流程图。如图3所示，流程300包括下述步骤。在一些实施例中，流程300可以由服务器110执行。
45.步骤310，接收测温单元获取的焊接温度信息。在一些实施例中，接收模块210执行步骤310。
46.测温单元是指可以实现温度测量的装置，例如，可以采用红外测温枪、温度传感器等装置实现。
47.焊接温度是指焊接时被焊接件(简称焊件)上部位位置的温度信息，例如，焊接时焊件上焊接点的温度信息。在一些实施例中，也可以将其他特定位置如焊枪端部的温度信息作为焊接温度信息。
48.焊接温度可以由相应的测温单元获取，接收模块210可以与测温单元通信连接并获取测温单元上传的温度信息。在一些实施例中，接收模块210可以由移动设备实现。
49.步骤320，采集控制指令，基于所述控制指令控制摄像单元获取焊接视频，在一些实施例中，获取模块220执行步骤320。
50.控制指令是指用于指示摄像单元开始视频录制的指令。
51.在一些实施例中，控制指令可以是由用户发出的语音指令或如焊接装置等设备发出的声音指令。例如，控制指令可以是“开始焊接”的语音或焊枪启动的声音信息。
52.在一些实施例中，控制指令也可以由其他类型的指示指令替代，例如由气体浓度变化等环境信息变化生成的指示指令，获取模块220即可由具备相应环境信息感知功能的传感装置实现。当判断环境信息中相关要素信息达到预设条件时，即表示采集到控制指令。
53.摄像单元是指具有视频录制功能的装置，在一些实施例中，摄像单元可以由带摄像功能的移动设备如手机等实现。
54.焊接视频是指摄像单元录制的焊接装置对焊件进行焊接的视频信息，获取模块220在获取到控制指令后即控制摄像单元进行焊接视频的录制。视频内容中主要是焊件的焊接画面。在一些实施例中，视频内容中也可以包括焊接装置上的部分结构，例如焊枪头等。
55.在一些实施例中，焊接视频的每帧画面中可以同时包括整个焊件或当前焊接面上所有焊接点的焊接图像。
56.获取模块220可以与摄像单元通信连接并获取摄像单元上传的视频信息。在一些实施例中，获取模块220可以由具备声音传感与分析功能的移动设备实现。
57.步骤330，从所述焊接视频中确定目标图像。在一些实施例中，确定模块230执行步骤330。
58.目标图像是指焊接视频中需要进行进一步分析或监控的图像。例如，可以是焊接启动阶段的部分焊接图像或温度异常的焊点对应的焊接图像等。在一些实施例中，目标图像还可以是满足其他预设要求的图像。
59.在一些实施例中，可以通过设置相应的预设条件，并将满足预设条件的视频内容作为目标图像。
60.在一些实施例中，预设条件可以与视频拍摄时间相关或与视频图像对应的焊接温度相关。例如，目标图像可以是拍摄时间满足第一预设条件的视频图像，或目标图像可以是对应的焊接温度信息满足第二预设条件的时间点拍摄的视频图像。
61.在一些实施例中，第一预设条件可以是指定的拍摄时间点，例如，第一预设条件是焊接视频的前10秒中，第1、5、9秒中的每一时刻的10帧图像，则依据该预设条件可以从焊接视频中确定前10秒时间范围内30帧图像作为目标图像。
62.在一些实施例中，第二预设条件可以是预先设定的温度阈值或温度变化系数的阈值等。例如，第二预设条件为焊接温度低于120℃，则可以先基于获取的焊接温度信息确定焊接温度低于120℃对应的焊接时间，然后确定该焊接时间对应拍摄的焊接视频的图像为目标图像。
63.通过设置预设条件确定目标图像，再基于目标图像进行焊接分析，可以更为灵活地控制图像截取时间，在一定程度上保证所截取图像的数量及质量在可控范围内，便于实时掌控焊接效果。
64.在一些实施例中，目标图像中包括多个焊接监测位置点的焊接图像。在一些实施例中，从焊接视频中确定目标图像还可以采取以下方式实现：先基于预设规则确定多个目标时间点，然后从焊接视频中截取多个焊接监测位置点在多个目标时间点的焊接图像作为
目标图像。
65.焊接监测位置点是指在焊件上选出进行焊接质量监控的部分焊点。焊接监测位置点可以根据实际的焊件情况设置，例如，可以将一条焊缝的起始点、中间点以及终点作为该焊缝的焊接监测位置点，目标图像中可以包括焊件上至少部分焊缝的至少部分焊接监测位置点。在一些实施例中，也可以通过其他方式确定焊件上的焊接监测位置点。
66.在一些实施例中，焊接检测位置点可以基于焊件上的关键点的设定来确定，例如，焊接检测位置点可以是焊件上最靠近某关键点的焊点。通过关键点的识别可以实现对整个焊件的定位，因此，关键点一般是布设于整个焊件上的，选取与关键点关联的焊接检测位置点，则使得焊件检测位置点的布设在焊件上更为均匀，避免集中对某部位进行监测而忽略了其他部位的焊接质量监控。关于焊件上的关键点的说明参见图4。
67.预设规则是指选取目标时间点的规则，预设规则可以根据具体的焊接时长来确定。在一些实施例中，预设规则可以是指定焊接过程中的特定时间点为目标时间点。例如，预设规则可以为焊接过程中，从起始时间点开始，每隔30秒的一个焊接时间点作为一个目标时间点。
68.目标时间点是指截取目标图像的时间点，即在目标时间点截取的视频图像即为目标图像。例如，依照前述预设规则，若某一焊接过程持续了3分钟，则第0.5分钟、1分钟、1.5分钟、2分钟、2.5分钟、3分钟均为目标时间点。
69.步骤340，将目标图像及其对应的焊接温度信息上传至服务平台。在一些实施例中，传输模块240执行步骤340。
70.服务平台是指用于根据收到的图像数据以及温度数据对焊接质量进行分析及监控的服务端。在一些实施例中，服务平台可以由服务器110实现。
71.在获取到目标图像后，具体是将目标图像及其对应的焊接温度信息上传至服务平台。例如，将焊接第3秒的焊接图像及焊接温度信息一起上传至服务平台。
72.步骤350，获取服务平台下发的焊接反馈信息。在一些实施例中，传输模块240执行步骤350。
73.焊接反馈信息是指服务平台通过对收到的信息进行分析后得出的信息，在一些实施例中，焊接反馈信息可以包括焊接工艺及焊件质量的评价，例如，焊接温度是否适宜、焊接位置是否精准等。在一些实施例中，焊接反馈信息中还可附上待改进或供参考的焊接细节图等。
74.在一些实施例中，服务平台可以直接根据获取到的图像得出焊接反馈信息，例如，经过图像分析确定当前焊缝与理想位置存在偏差等。在一些实施例中，服务平台还需要结合其他信息确定焊接反馈信息，例如，若获取到的焊接温度异常时，需要先排除测温单元的作业位置异常(例如与焊接面之间有阻隔物遮挡等)，再进一步确认是否是焊接温度的异常。
75.在一些实施例中，若测温单元未处于目标作业位置即可认为测温单元的作业位置异常。关于测温单元的目标作业位置的相关说明参见本说明书其他部分的内容。
76.在一些实施例中，服务平台可以基于人工实现数据分析，也可以基于其处理器结合历史数据及获取到的数据进行自动分析。
77.通过获取焊接图像及焊接温度数据，并进行分析，可以对焊接过程进行质量监控，
以便对焊接过程中发生的问题进行及时修正并采取相应补救措施。
78.步骤360，基于对所述焊接视频或所述目标图像的图像识别处理，确定所述测温单元的目标作业位置及摄像单元的目标作业位置。在一些实施例中，处理模块250执行步骤360。
79.图像识别处理是指对图像中焊件进行识别与分析，进而确定焊件的位置信息的过程。在一些实施例中，可以基于对图像中焊件上部分关键点进行定位，进而确定整个焊件的位置信息。在一些实施例中，可以直接通过图像识别分析确定焊件相对于摄像单元的位置信息。在一些实施例中，可以基于机器学习模型实现上述图像识别处理的过程，关于基于机器学习模式实现焊件定位的说明参见图4。
80.测温单元及摄像单元的目标作业位置分别指测温单元与摄像单元获取相应数据信息的最佳位置。在一些实施例中，可以预先设置测温单元、摄像单元与焊件的相对位置标准，测温单元、摄像单元与焊件的相对位置满足该相对位置标准时所处的作业位置即可作为其对应的目标作业位置。例如，可以将满足测温单元正对焊接面且距离焊接面中心点不超过10厘米的位置作为测温单元的目标作业位置。
81.在一些实施例中，可以根据通过图像识别处理得到的焊件的位置信息以及预设的相对位置标准确定测温单元、摄像单元的目标作业位置。相对位置标准可以包括测温单元、摄像单元相对于焊接的相对距离要求或方位要求等。
82.在一些实施例中，可以通过图像识别处理得到的焊件的关键点的相关信息，再基于目前获取的图像中焊件的关键点信息以及预设的关键点信息需要满足的要求，进一步确定测温单元、摄像单元的目标作业位置。
83.在一些实施例中，获取数据的初始阶段，测温单元、摄像单元可以在默认位置进行数据获取，通过对默认位置获取到的视频图像进行进一步分析处理后即可确定测温单元、摄像单元的目标作业位置。通过结合获取到的图像等数据信息进一步分析确认测温单元、摄像单元的目标作业位置，可以使得在后续的焊接过程中，获取的质量监控数据更加精准。
84.关于如何确定测温单元的目标作业位置及摄像单元的目标作业位置的更多说明参见图4。
85.步骤370，基于所述测温单元的目标作业位置及所述摄像单元的目标作业位置控制第一调节臂及第二调节臂的移动。在一些实施例中，控制模块260执行步骤370。
86.在一些实施例中，可以基于配套的焊接辅助装置实现焊接温度及焊接视频的获取，例如，焊接辅助装置可以包括摄像单元固定结构、测温单元固定结构、及分别用于调整摄像单元固定结构的位置的第一调节臂和用于调整测温单元固定结构的位置的第二调节臂。
87.第一调节臂是用于调节测温单元的作业位置的机械结构，可以采用任意可以实现移动、伸缩及旋转的装置实现。
88.第二调节臂是用于调节摄像单元的作业位置的机械结构，可以采用任意可以实现移动、伸缩及旋转的装置实现。
89.第一调节臂及第二调节臂的位置移动可以由相应的驱动设备实现，如气缸或其他传动机构。
90.通过第一调节臂及第二调节臂的移动、旋转及伸缩等，即可对应调整摄像单元固
定结构、测温单元固定结构的位置，进而调整摄像单元及测温单元的作业位置，使摄像单元及测温单元保持在目标作业位置。
91.需要说明的是，步骤360及步骤370均并非必要步骤，属于进一步提升焊接监控质量的操作。
92.图4是根据本说明书一些实施例所示的数据采集设备的位置调节流程400的示例性流程图。
93.步骤410，确定焊件的位置信息。
94.在一些实施例中，焊件的位置信息可以为焊件相对于摄像单元或测温单元的位置信息。
95.在一些实施例中，可以通过计算焊件与测温单元及摄像单元的相对位置，进而确定测温单元的目标作业位置及摄像单元的目标作业位置。在一些实施例中，可以预先设置测温单元与摄像单元的目标相对位置关系，目标相对位置关系即表明了当测温单元与摄像单元均处于目标作业位置时二者间的相对位置关系，则在确定了测温单元与摄像单元中任意一个的目标作业位置后即可确定另一个的目标作业位置。
96.在一些实施例中，计算焊件与测温单元及摄像单元的相对位置需要先对焊件的位置进行定位。在一些实施例中，焊件的定位可以基于对焊接视频或目标图像的图像识别处理实现。在一些实施例中，通过对焊接视频或目标图像的图像识别可以确定焊件相对于摄像单元的相对位置，则基于该相对位置及预设的摄像单元的目标作业位置相对于焊件需要满足的要求即可确定摄像单元的目标作业位置，进而再基于测温单元与摄像单元的目标相对位置关系确定测温单元的目标作业位置，在一些实施例中，该图像识别处理可以通过图像识别模型实现。
97.图像识别模型是指用于对输入的焊接视频图像进行处理以得到焊件的定位信息的处理模块。在一些实施例中，图像识别模型为机器学习模型。
98.在一些实施例中，图像识别模型可以为基于对输入的图像的识别及分析，确定图像中焊件位置的位置识别模型。
99.在一些实施例中位置识别模型的输入为摄像单元采集到的焊接视频图像。在一些实施例中，输入位置识别模型的焊接视频图像内容包括在多个目标时间点时焊件上的多个焊接检测位置点的焊接图像。在一些实施例中，位置识别模型的输出包括焊件的中心点(或其他预设的点)相对于摄像单元的角度及距离，例如，位置识别模型的输出可以是(右上角60
°
、15cm，37cm)，则表示焊件中心位于摄像单元右上角60
°
方向，焊件中心与摄像单元的垂直距离为10cm，水平距离为37cm。关于位置识别模型的更多说明参见图5。
100.在确定了焊件相对于摄像单元的角度或位置坐标后，即可基于预设的摄像单元目标作业位置的相关要求确定摄像单元的位置调整方案。
101.在一些实施例中，位置识别模型可以是卷积神经网络模型(cnn)、深度神经网络(dnn)等，或者其他可以进行物体识别的模型。
102.在一些实施例中，图像识别模型可以由焊件识别模型与关键点识别模型共同实现。例如，先基于焊件识别模型识别图像中是否存在焊件以及焊件在图像中的位置信息，再由关键点识别模型基于焊件识别模型输出的焊件位置信息分析图像中的焊件，并提取焊件上关键点。最后，基于目前采集到的图像中焊件的关键点信息与预设的标准图像中关键点
预设信息的差别即可确认当前摄像单元是否处于目标作业位置。
103.在一些实施例中，焊件识别模型可以基于对输入的图像的识别及分析，确定图像中是否存在焊件，并在存在焊件时，输出焊件在图像中的位置信息。
104.在一些实施例中，输入焊件识别模型的焊接视频图像内容包括在多个目标时间点时焊件上的多个焊接检测位置点的焊接图像。在一些实施例中，若输入的图像中不存在焊件，焊件识别模型的输出可以为“目标不存在”；若输入的图像中存在焊件，焊件识别模型的输出可以为目标框，该目标框可以是在图像中将焊件进行框选的矩形框等，在一些实施例中，焊件识别模型的输出还可以是具体的坐标信息，表示焊件在图像中的位置坐标。关于焊件识别模型的其他说明参见图5。在一些实施例中，焊件识别模型可以是目yolo、cnn等。
105.在一些实施例中，关键点识别模型的输入可以为基于焊件识别模型输出的信息对图像进行截取后得到的焊件图像，关键点识别模型的输出可以为焊件图像中的关键点。在一些实施例中，焊件识别模型可以是目cnn、dnn等。
106.基于关键点识别模型提取到的图像中的关键点的位置或数量等是否满足该焊件对应的预设标准图像中关键点预设信息即可确定当前摄像单元是否处于目标作业位置。同时，若摄像单元并未处于目标作业位置，则基于当前获取到的信息即可确认摄像单元的位置调整方案。
107.焊件上的关键点可以是预先指定的焊件上的局部位置，例如，关键点可以是预先选取焊件的几何中心点及若干边缘点(例如矩形的四个角)等，在一些实施例中，焊件上的关键点可以是焊件的焊点。
108.在一些实施例中，输入图像识别模型的焊接视频图像中，关键点需满足至少为3个未处于一条直线上的空间点，则基于多个关键点的角度及位置坐标可以确定焊件所在的平面相对于拍摄装置的方位距离。
109.在一些实施例中，可以预先制定在摄像单元处于目标作业位置范围时拍摄的焊接图像中，各类焊件对应的关键的数量、角度和/或位置坐标等。
110.关键点的角度是指关键点相较于摄像单元所处的方向或关键点在当前视频画面中基于预设图像坐标相较于某坐标轴的角度。例如，关键点a的角度可以是位于摄像单元西北30
°
角。
111.在一些实施例中，预设图像坐标可以是按照一定规则预先建立的图像空间坐标系，视频图像中每个点在该图像空间坐标系中均有其位移对应的坐标。
112.关键点的位置坐标是指关键点在基于预设图像空间坐标系中的位置坐标。例如关键点a的坐标为(12，30，7)。
113.步骤420，基于预设调整规则确定摄像单元的位置调整方案及测温单元的位置调整方案。
114.摄像单元的位置调整方案是指对摄像单元进行位置调整使其移动到目标作业位置的方案。摄像单元的位置调整方案可以基于前一步中确定的焊件的位置信息以及预设调整规则而定。
115.测温单元的位置调整方案是指对测温单元进行位置调整使其移动到目标作业位置的方案。测温单元的位置调整方案可以基于摄像单元的位置调整方案而定。
116.预设调整规则是指基于当前获取到的信息对摄像单元进行具体位置调整时需要
依据的调整方法。在一些实施例中，预设调整规则可以根据前一步骤获取到的信息的不同而具有不同的具体内容。
117.在一些实施例中，若基于位置识别模型识别到焊件相对于摄像单元的位置信息时，预设调整规则可以包括在焊件与摄像单元处于各种相对位置情况时对摄像单元的具体位置调整方案。例如，若位置识别模型输出(右上角60
°
、15cm，37cm)，则根据预设调整规则可知摄像单元的位置调整方案为往右上角60
°
方向平移37cm，然后再往朝向焊件中心的方向至少移动5cm。
118.在一些实施例中，若基于焊件识别模型与关键点识别模型识别到当前图像中焊件的关键点数量为4个，且3个位于焊件的左下半部，1个位于焊件的左上半部，则根据预设调整规则可知摄像单元的位置调整方案至少向右平移m厘米，再向上平移n厘米，具体距离值可以根据焊件的实际尺寸确定。
119.在确定了摄像单元的位置调整方案后，即可基于测温单元与摄像单元的目标相对位置关系确定测温单元的位置调整方案。在一些实施例中，测温单元与摄像单元作业的对象都是焊件，且二者的目标作业位置均是以焊件中心作为基准点，因此，在设定二者需要满足的相对位置关系后，确定了摄像单元的位置调整方案即可确定测温单元的位置调整方案。
120.步骤430，基于位置调整方案，调节测温单元及摄像单元的作业位置。
121.在一些实施例中，在确定了测温单元的位置调整方案、摄像单元的位置调整方案后即可通过调节第一调节臂及第二调节臂的运动参数以调整摄像单元固定结构、测温单元固定结构的位置，进而将测温单元及摄像单元调整至目标作业位置。例如，可参照摄像单元的位置调整方案通过第二调节臂的伸缩、旋转等调整摄像单元的作业位置。
122.通过对焊件进行定位，以确定测温单元、摄像单元的位置调整方案并将二者调整至目标作业位置，保持测温单元、摄像单元工作在目标作业位置，进而提高测温和拍摄图像的清晰度和准确度，避免因为障碍物遮挡和位置问题影响测温精度及图像拍摄的效果。
123.应当注意的是，上述有关流程400的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程400进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
124.图5是根据本说明书一些实施例所示的图像识别模型的训练流程500的示意图。
125.如图5所示，在一些实施例中，图像识别模型可以由位置识别模型540实现。在一些实施例中，可以利用位置识别模型540对焊接视频或目标图像进行处理，确定焊件的中心点相对于摄像单元的角度及距离。
126.在一些实施例中，位置识别模型540的输入包括多个时间点的多个焊接检测位置点的焊接图像530，输出为焊件的中心点相对于摄像单元的角度及距离550。
127.在一些实施例中，位置识别模型540可以基于大量带有标签的训练样本510训练得到。例如，将带有标签的训练样本510输入初始位置识别模型520，通过标签和初始位置识别模型520的预测结果构建损失函数，基于损失函数迭代更新模型的参数。当训练的模型满足预设条件时，训练结束。其中，预设条件为损失函数收敛、迭代的次数达到阈值等。
128.在一些实施例中，训练样本至少可以包括多个时间点的多个焊件检测位置点的图像。标签可以表征该图像中焊件的中心点相对于摄像单元的角度及距离。标签可以基于从
存储系统获取的历史焊接数据生成，标签也可以人工标注。
129.通过利用位置识别模型540识别焊件的中心点相对于摄像单元的角度及距离，可以更准确地确定摄像单元的位置调整方案，提升目标作业位置的确定效率。
130.图6是根据本说明书一些实施例所示的图像识别模型的训练流程600的示意图。
131.如图6所示，在一些实施例中，图像识别模型可以由焊件识别模型620和关键点识别模型650组成。在一些实施例中，焊件识别模型620可以基于rnn模型来构建，输入为多个时间点的多个焊接检测位置点的焊接图像610，输出为焊件信息630(例如，焊接视频中是否存在焊件以及焊件在焊接视频图像中的位置信息)。在一些实施例中，关键点识别模型650可以基于dnn模型来构建，输入为焊件图像640(例如，包含焊件的坐标信息或目标框的焊接图像)，输出为焊接图像中的关键点660。在一些实施例中，关键点识别模型650输入的焊件图像640可以是基于焊件识别模型620输出的焊件信息630对焊接图像610进行的进一步处理得到的焊件图像640。
132.在一些实施例中，焊件识别模型620的输出可以为关键点识别模型650的输入，焊件识别模型620和关键点识别模型650可以联合训练得到。例如，向焊件识别模型620输入训练样本数据，即多个时间点的多个焊接检测位置点的焊接样本图像，基于关键点识别模型650输出的焊件的关键点信息，例如关键点的数量、位置等信息与标签构建损失函数，对焊件识别模型和关键点识别模型的参数进行更新。
133.在一些实施例中，获取训练样本的方式可以是基于历史数据获取，历史数据可以包括历史焊接视频或焊接图像。在一些实施例中，标签可以是多个样本焊件图像中对应的焊件的关键点。在一些实施例中，标识的获取方式可以是通过人工标注获取。
134.通过上述训练方式获得焊件识别模型的参数，在一些情况下有利于解决单独训练焊件识别模型时难以获得标签的问题，还可以使焊件识别模型能较好地得到反映焊件的位置信息，使得关键点识别模型能够更准确的预测出焊件的关键点。
135.本说明书实施例还提供了一种检测焊接工艺参数的焊接辅助装置，包括处理器以及存储器；所述存储器用于存储计算机指令；所述处理器用于执行所述计算机指令中的至少部分指令以实现如前述的检测焊接工艺参数的焊接辅助方法。
136.本说明书实施例还提供了一种计算机可读存储介质，所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现如前述的检测焊接工艺参数的焊接辅助方法。
137.本说明书实施例可能带来的有益效果包括但不限于：(1)通过获取焊接图像及焊接温度数据，并进行分析，可以对焊接过程进行质量监控，以便对焊接过程中发生的问题进行及时修正并采取相应补救措施。(2)通过对焊件进行定位，以确定测温单元、摄像单元的位置调整方案并将二者调整至目标作业位置，保持测温单元、摄像单元工作在目标作业位置，进而提高测温和拍摄图像的清晰度和准确度，避免因为障碍物遮挡和位置问题影响测温精度及图像拍摄的效果。(3)利用模型识别焊件的中心点相对于摄像单元的角度及距离、焊件的关键点，可以更准确地确定摄像单元及测温单元的位置调整方案，提升目标作业位置的确定效率。
138.需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
139.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
140.同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
141.此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
142.同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
143.一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有
±
20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
144.针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
145.最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

技术特征：
1.一种检测焊接工艺参数的焊接辅助方法，其特征在于，所述方法包括：接收测温单元获取的焊接温度信息；采集控制指令，基于所述控制指令控制摄像单元获取焊接视频；从所述焊接视频中确定目标图像；将所述目标图像及其对应的所述焊接温度信息上传至服务平台；获取所述服务平台下发的焊接反馈信息。2.根据权利要求1所述的方法，其特征在于，所述目标图像的拍摄时间满足第一预设条件；和/或，所述目标图像对应的所述焊接温度信息满足第二预设条件。3.根据权利要求2所述的方法，其特征在于，所述目标图像中包括多个焊接监测位置点的焊接图像；所述从所述焊接视频中确定目标图像包括：基于预设规则确定多个目标时间点；从所述焊接视频中截取所述多个焊接监测位置点在所述多个目标时间点的所述焊接图像作为所述目标图像。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：基于对所述焊接视频或所述目标图像的图像识别处理，确定所述测温单元的目标作业位置及摄像单元的目标作业位置；基于所述测温单元的目标作业位置及所述摄像单元的目标作业位置控制第一调节臂及第二调节臂的移动，所述第一调节臂用于调节所述测温单元的作业位置，所述第二调节臂用于调节所述摄像单元的作业位置。5.一种检测焊接工艺参数的焊接辅助系统，其特征在于，所述系统包括：接收模块，用于接收测温单元获取的焊接温度信息；获取模块，用于采集控制指令及基于所述控制指令控制摄像单元获取焊接视频；确定模块，用于从所述焊接视频中确定目标图像；传输模块，用于将所述目标图像及其对应的所述焊接温度信息上传至服务平台，及获取所述服务平台下发的焊接反馈信息。6.根据权利要求5所述的系统，其特征在于，所述目标图像的拍摄时间满足第一预设条件；和/或，所述目标图像对应的所述焊接温度信息满足第二预设条件。7.根据权利要求6所述的系统，其特征在于，所述目标图像中包括多个焊接监测位置点的焊接图像；所述确定模块进一步用于：基于预设规则确定多个目标时间点；从所述焊接视频中截取所述多个焊接监测位置点在所述多个目标时间点的所述焊接图像作为所述目标图像。8.根据权利要求5所述的系统，其特征在于，所述系统还包括：处理模块，用于基于对所述焊接视频或所述目标图像的图像识别处理，确定所述测温单元的目标作业位置及摄像单元的目标作业位置；
控制模块，用于基于所述测温单元的目标作业位置及所述摄像单元的目标作业位置控制第一调节臂及第二调节臂的移动，所述第一调节臂用于调节所述测温单元的作业位置，所述第二调节臂用于调节所述摄像单元的作业位置。9.一种检测焊接工艺参数的焊接辅助装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，其特征在于，所述指令被所述处理器执行时，导致所述装置实现如权利要求1至4中任一项所述检测焊接工艺参数的焊接辅助方法对应的操作。10.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机运行如权利要求1至4中任意一项所述检测焊接工艺参数的焊接辅助方法。

技术总结
本说明书实施例提供一种检测焊接工艺参数的焊接辅助方法，包括：接收测温单元获取的焊接温度信息；采集控制指令，基于所述控制指令控制摄像单元获取焊接视频；从所述焊接视频中确定目标图像；将所述目标图像及其对应的所述焊接温度信息上传至服务平台；获取所述服务平台下发的焊接反馈信息。可以实现对焊接过程中发生的问题进行及时监控。中发生的问题进行及时监控。中发生的问题进行及时监控。


技术研发人员：肖大为 肖健 卢克胜
受保护的技术使用者：江苏三沃电子科技有限公司
技术研发日：2021.11.05
技术公布日：2022/3/7