用于重复生产系统的无监督工艺监控方法、装置及设备

本公开涉及先进制造领域，尤其涉及一种用于重复生产系统的无监督工艺监控方法、装置及设备。

背景技术：

1、在现代制造系统中，特别是涉及多步骤装配过程的先进生产系统，工艺监控和实时进度管理至关重要。目前，业界已经开发了多种工艺监控和管理方法。传统方法如rfid或二维码的实现，通过在生产线上安装读取设备来跟踪零件/组件的流动，从而监控生产进度。另一种常见方法是使用可穿戴传感器，通过识别操作员的动作来推断生产活动。随着计算机视觉技术的进步，基于视觉的方法也逐渐得到应用，这些方法通过分析生产现场的图像或视频来识别生产阶段和进度。

2、然而，这些现有技术方法在实际应用中面临诸多挑战。rfid和二维码技术虽然能够有效跟踪零件流动，但往往会增加扫描时间，可能延长流通时间并降低生产率。此外，这些技术的初期实施成本较高，并且在不同合作伙伴之间可能存在兼容性问题。可穿戴传感器技术在生产环境中的应用也受到限制，主要是由于其准确率较低以及佩戴要求可能影响操作员的工作舒适度。

3、基于视觉的方法虽然在获取涉及人机交互和重复手工操作的生产进度信息方面变得更加高效，但仍然存在一些问题。许多现有的视觉方法需要大量的人工标注数据，这在复杂多变的生产环境中实施起来成本高昂且耗时。同时，这些方法通常需要预定义工艺阶段，难以自动适应不同的生产流程，缺乏足够的灵活性和通用性。在面对新的生产场景或产品变体时，这些方法经常需要重新训练或大幅调整，泛化能力有限。

4、此外，现有方法在提供实时、准确的进度信息和偏差检测方面仍有不足。特别是在复杂的多阶段生产过程中，准确定位关键进度检查点仍然是一个挑战。这些方法通常难以适应动态变化的生产环境，特别是在产品种类多样或生产流程频繁调整的情况下。

5、鉴于这些限制，亟需开发一种能够自动、准确、实时地监控生产进度，并能适应不同生产环境的工艺监控方法。

技术实现思路

1、本公开提出了一种用于重复生产系统的无监督工艺监控方案，能够无需大量人工干预，自动识别和分割生产阶段，并且能适应不同生产环境。

2、根据本公开的一个实施例，提出了一种用于重复生产系统的无监督工艺监控方法，包括：

3、采集目标生产过程的多个视频，得到每个所述视频的图像序列；

4、利用对比变分自编码器(cvae)模型对所述图像序列进行特征提取，得到潜在变量序列；

5、对每个所述视频的所述潜在变量序列进行自适应变点检测，得到初始变点集合；

6、利用迭代动态时间规整(idtw)算法对所述多个视频的所述初始变点集合进行处理，得到通用变点集合；

7、根据所述通用变点集合更新cvae模型，直到cvae模型收敛；

8、利用收敛的cvae模型对实时采集的目标生产过程的图像序列进行处理，预测生产阶段；

9、根据预测的生产阶段检测进度偏差。

10、在一些实施方式中，cvae模型被设置为：

11、使用resnet50架构作为编码器，生成潜在变量；

12、使用卷积解码器重构图像。

13、在一些实施方式中，cvae模型的训练过程中使用如下总损失函数loss：

14、loss＝λ*losstrip+lcvae，

15、其中，λ为调整参数，losstrip为三元组损失，lcvae为cvae损失函数。

16、在一些实施方式中，基于潜在变量服从高斯混合模型(gmm)分布的先验分布假设，根据下式计算所述cvae损失函数lcvae，其中每个生产阶段对应gmm中的一个高斯分量：

17、

18、其中，为重构图像，x为cvae模型的原始输入图像，σ为像素的标准差，为生产阶段y下的潜在表示标准差，为生产阶段y下的潜在表示均值，μy为先验分布中对应生产阶段y的高斯分量的均值参数。

19、在一些实施方式中，根据下式计算所述三元组损失losstrip：

20、losstrip＝min(|μanchor-μpositive|2-|μanchor-μnegative|2+m2,0),

21、其中，μanchor为锚点图像的潜在表示均值，μpositive为正样本图像的潜在表示均值，μnegative为负样本图像的潜在表示均值。

22、在一些实施方式中，所述自适应变点检测包括：

23、利用如下目标函数进行变点检测：

24、

25、其中，i为视频编号，t为时间，y为生产阶段的编号，ci识别出的变点数量，zi,t为视频i在时间t的图像的潜在变量，μi,y为视频i在生产阶段y内的潜在变量的均值，ti,y和ti,y+1为相邻变点的时间点，pen(ci)为与变点数量ci相关的惩罚项。

26、在一些实施方式中，利用idtw算法对所述多个视频的所述初始变点集合进行处理，得到通用变点集合，包括：

27、将视频两两配对；

28、对每个视频对中的变点进行迭代匹配，所述迭代匹配包括：利用动态时间规整算法处理该视频对中两个视频的变点序列，得到dtw对序列，第j个dtw对表示为i1和i2分别为该视频对中两个视频的编号；对该视频对的dtw对序列进行前向遍历，当dtw对满足判断条件且时，将该dtw对识别为该视频对的通用变点，保留该dtw对，而当dtw对不满足所述判断条件时，从dtw对序列中删除该dtw对，合并该dtw对前后的时间段，并重新计算合并段内潜在变量的均值，以及重新计算该视频对的dtw对序列；重复上述过程，直到该视频对中两个视频的变点之间建立一一对应的关系；

29、在重复对所有视频对进行所述迭代匹配后，将剩余的dtw对作为最终的通用变点，构成所述通用变点集合。

30、在一些实施方式中，根据所述通用变点集合更新cvae模型包括：

31、确定每个视频中每个通用变点的时间点；

32、根据通用变点划分的时间段，计算每个时间段内潜在变量的均值；

33、将计算得到的潜在变量的均值作为高斯混合模型(gmm)中对应高斯分量的均值参数；

34、使用得到的通用变点的时间点和gmm均值参数更新cvae模型。

35、在一些实施方式中，根据预测的当前生产阶段检测进度偏差，包括：

36、当不满足下列进度检测条件时，判断存在进度偏差，并生成相应警报信息：

37、预测的相邻时间点t和t+1的生产阶段是否满足或其中是预测的时间点t的生产阶段，是预测的时间点t+1的生产阶段，和/或预测的生产阶段与计划的生产阶段不同。

38、根据本公开的一个实施例，提出了一种用于重复生产系统的无监督工艺监控装置，包括：

39、图像获取单元，用于采集目标生产过程的多个视频，得到每个所述视频的图像序列；

40、特征提取单元，用于利用对比变分自编码器(cvae)模型对所述图像序列进行特征提取，得到潜在变量序列；

41、自适应变点检测单元，用于对每个所述视频的所述潜在变量序列进行自适应变点检测，得到初始变点集合；

42、通用变点筛选单元，用于利用迭代动态时间规整(idtw)算法对所述多个视频的所述初始变点集合进行处理，得到通用变点集合；

43、训练周期控制单元，用于根据所述通用变点集合更新cvae模型，直到cvae模型收敛；

44、实时预测单元，用于利用收敛的cvae模型对实时采集的目标生产过程的图像序列进行处理，预测生产阶段；

45、进度偏差检测单元，用于根据预测的生产阶段检测进度偏差。

46、根据本公开的一个实施例，提出了一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现如上任一项所述的方法。

47、根据本公开的一个实施例，提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上任一项所述的方法。

48、本公开提出的端到端无监督嵌入技术为重复生产系统的工艺监控带来了显著的创新和优势。本公开通过智能地分离和标记生产阶段，实现了精确的阶段识别和工艺监控，为制造业提供了一种高效、自动化的解决方案。

49、首先，本公开提出了一种创新的对比变分自编码器(cvae，contrastivevariational autoencoder)，能够无监督地将重复生产过程嵌入到高斯混合模型(gmm)中。通过考虑每个生产阶段(也可称为工艺类)特征的可分性和时间信息，cvae提供了一个更加全面和准确的生产过程表示。这种方法使系统能够自动捕捉和学习复杂生产过程中的关键特征和模式，无需人工干预即可适应不同的生产场景。

50、其次，本公开提出的自适应变点检测方法，结合迭代动态时间配准(idtw，iterative dynamic time warping)算法，为生产阶段的自动划分和标记提供了强大的工具。这种创新方法不仅能够精确识别生产过程中的关键转换点，还能有效防止人为偏见和减少对人工注释的依赖。通过这种方式，工艺监控的客观性和效率得到了极大提高，能够更加准确地捕捉生产过程中的细微变化和重要转折点。

51、此外，本公开在理论上进行了深入的分析和研究，特别是关于变点检测的渐近最优性。这种理论基础确保了即使在采用无监督方法的情况下，仍能实现高精度的进度识别和工艺监控。这一特性为方案的可靠性和稳定性提供了强有力的支持，增强了其在实际应用中的说服力和可信度。

52、本公开提出的端到端的无监督工艺监控技术通过学习重复过程的时间表示和关键特征，实现了生产阶段识别和工艺监控的高效集成。其内在的无监督特性不仅消除了对大量人工注释数据的需求，还显著提高了工艺监控和生产管理的效率，能够自动适应不同的生产环境和产品变体，无需频繁的人工干预和调整。

53、本公开提出的用于重复生产系统的无监督工艺监控方案的有效性和适应性已通过多个不同的案例研究得到充分验证，其中包括复杂的商业飞机扰流板生产。这些多样化的应用场景充分展示了该方案的通用性和鲁棒性，证明其不仅适用于标准化的生产线，也能有效应对高度复杂和定制化的生产过程。

技术特征：

1.一种用于重复生产系统的无监督工艺监控方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，cvae模型被设置为：

3.根据权利要求2所述的方法，其特征在于，cvae模型的训练过程中使用如下总损失函数loss：

4.根据权利要求3所述的方法，其特征在于，基于潜在变量服从高斯混合模型(gmm)分布的先验分布假设，根据下式计算所述cvae损失函数lcvae，其中每个生产阶段对应gmm中的一个高斯分量：

5.根据权利要求3所述的方法，其特征在于，根据下式计算所述三元组损失losstrip：

6.根据权利要求1所述的方法，其特征在于，所述自适应变点检测包括：

7.根据权利要求1所述的方法，其特征在于，利用idtw算法对所述多个视频的所述初始变点集合进行处理，得到通用变点集合，包括：

8.根据权利要求4所述的方法，其特征在于，根据所述通用变点集合更新cvae模型包括：

9.根据权利要求1所述的方法，其特征在于，根据预测的当前生产阶段检测进度偏差，包括：

10.一种用于重复生产系统的无监督工艺监控装置，其特征在于，包括：

11.一种电子设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至9任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至9任一项所述的方法。

技术总结
公开了一种用于重复生产系统的无监督工艺监控方法、装置及设备。该方法包括：采集目标制造过程的多个视频，得到图像序列；利用CVAE模型对图像序列进行特征提取，得到潜在变量序列；对潜在变量序列进行自适应变点检测，得到初始变点集合；利用IDTW算法筛选出通用变点集合；根据通用变点集合更新CVAE模型直至收敛；利用收敛的CVAE模型处理实时采集的图像序列，预测生产阶段；根据预测的生产阶段检测进度偏差。本公开显著减少了对人工标注数据的依赖，降低了实施成本，能适应不同生产场景，并且实现了高精度的无监督工艺监控，提高了生产效率。

技术研发人员：郑力,李逸凡
受保护的技术使用者：清华大学
技术研发日：
技术公布日：2024/12/5