一种集装箱装卸安全检测方法和系统与流程

1.本技术涉及到人工智能领域，具体而言，涉及一种集装箱装卸安全检测方法和系统。


背景技术：

2.集装箱码头(包括传统码头以及智能化现代码头)面临的主要安全隐患之一即是在内外集卡集装箱装卸过程中未解锁所有集卡锁头而造成的吊起。现有解决这一安全问题的方式依赖于人力。在传统码头中需部署现场人员巡检，通过人工观察以及专业人工经验进行判断，存在人工成本增加，不便于管理等问题。而在现存的智能化现代码头，仅通过在现场安装摄像头的方式代替人工现场作业，仍需人工观察实时视屏数据来判断集卡吊起情况，实际无明显人工成本的减持，并且增加了人工作业发复杂程度。


技术实现要素：

3.本技术实施例提供了一种集装箱装卸安全检测方法和系统，以至少解决现有技术中依靠人工来判断集卡集装箱的锁头所带来的安全隐患所导致的问题。
4.根据本技术的一个方面，提供了一种集装箱装卸安全检测方法，包括：使用多组训练数据对基于神经网络的机器学习模型进行训练，得到收敛的机器学习模型；其中，所述多组训练数据来自于现场作业数据集；通过摄像头对龙门吊与集装箱卡车上的集装箱连接的锁头进行拍摄，得到照片；将所述照片输入到所述机器学习模型中；获取所述机器学习模型输出的结果，其中，所述结果用于指示所述锁头是否处于安全状态。
5.进一步地，对基于神经网络的机器学习模型进行训练包括：将所述现场作业数据集经过基于resnet的编码器进行编码；将编码后的所述现场作业数据集输入到基于聚类的机器学习模型中分类。
6.进一步地，将所述现场作业数据集经过基于resnet的编码器进行编码包括：输入所述现场作业集中的图像；将所述图像输入到编码器；接收所述编码器输出的低维编码；将所述低维编码输入译码器，获取与输入的所述图像尺寸相同的图像。
7.进一步地，所述低维是指输出的编码的维度小于所述图像输入所述编码器之前的维度，所述维度用于指示所述图像中的特征数量。
8.进一步地，还包括：在所述锁头未处于安全状态的情况下，进行报警。
9.根据本技术的另一个方面，还提供了一种集装箱装卸安全检测系统，包括：训练模块，用于使用多组训练数据对基于神经网络的机器学习模型进行训练，得到收敛的机器学习模型；其中，所述多组训练数据来自于现场作业数据集；拍摄模块，用于通过摄像头对龙门吊与集装箱卡车上的集装箱连接的锁头进行拍摄，得到照片；输入模块，用于将所述照片输入到所述机器学习模型中；获取模块，用于获取所述机器学习模型输出的结果，其中，所述结果用于指示所述锁头是否处于安全状态。
10.进一步地，所述训练模块用于：将所述现场作业数据集经过基于resnet的编码器
进行编码；将编码后的所述现场作业数据集输入到基于聚类的机器学习模型中分类。
11.进一步地，所述训练模块用于：输入所述现场作业集中的图像；将所述图像输入到编码器；接收所述编码器输出的低维编码；将所述低维编码输入译码器，获取与输入的所述图像尺寸相同的图像。
12.进一步地，所述低维是指输出的编码的维度小于所述图像输入所述编码器之前的维度，所述维度用于指示所述图像中的特征数量。
13.进一步地，还包括：报警模块，用于在所述锁头未处于安全状态的情况下，进行报警。
14.在本技术实施例中，采用了使用多组训练数据对基于神经网络的机器学习模型进行训练，得到收敛的机器学习模型；其中，所述多组训练数据来自于现场作业数据集；通过摄像头对龙门吊与集装箱卡车上的集装箱连接的锁头进行拍摄，得到照片；将所述照片输入到所述机器学习模型中；获取所述机器学习模型输出的结果，其中，所述结果用于指示所述锁头是否处于安全状态。通过本技术解决了现有技术中依靠人工来判断集卡集装箱的锁头所带来的安全隐患所导致的问题，从而减少了人工成本。
附图说明
15.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
16.图1是根据本技术实施例的集卡吊起位置示意图；
17.图2是根据本技术实施例的基于神经网络的集卡防吊方法示意图；
18.图3是根据本技术实施例的残差模块图例；
19.图4是根据本技术实施例的原理示意图；
20.图5是根据本技术实施例的消息输出逻辑示意图；
21.图6是根据本技术实施例的集装箱装卸安全检测方法的流程图。
具体实施方式
22.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
23.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
24.在本实施例中提供了一种集装箱装卸安全检测方法，图6是根据本技术实施例的集装箱装卸安全检测方法的流程图，如图6所示，该流程包括如下步骤：
25.步骤s602，使用多组训练数据对基于神经网络的机器学习模型进行训练，得到收敛的机器学习模型；其中，所述多组训练数据来自于现场作业数据集；现场作业数据集中包括图像，以及每张图像均配置的标签，该标签至少用于标识图像中的龙门与集装箱锁头的状态是否安全。
26.训练的方式有很多种，例如，可以将所述现场作业数据集经过基于resnet的编码器进行编码；将编码后的所述现场作业数据集输入到基于聚类的机器学习模型中分类。可
选地，将所述现场作业数据集经过基于resnet的编码器进行编码包括：输入所述现场作业集中的图像；将所述图像输入到编码器；接收所述编码器输出的低维编码；将所述低维编码输入译码器，获取与输入的所述图像尺寸相同的图像，其中，所述低维是指输出的编码的维度小于所述图像输入所述编码器之前的维度，所述维度用于指示所述图像中的特征数量。
27.步骤s604，通过摄像头对龙门吊与集装箱卡车上的集装箱连接的锁头进行拍摄，得到照片。
28.步骤s606，将所述照片输入到所述机器学习模型中。
29.步骤s608，获取所述机器学习模型输出的结果，其中，所述结果用于指示所述锁头是否处于安全状态。
30.作为一个可选的实施方式，在所述锁头未处于安全状态的情况下，还可以进行报警。
31.通过上述步骤解决了现有技术中依靠人工来判断集卡集装箱的锁头所带来的安全隐患所导致的问题，从而减少了人工成本。
32.下面结合一个可选的实施例进行说明，提供了一种基于resnet的自动编码器实现聚类的方法，利用机器学习的方法实现集卡吊起的识别与判断并且发出报警，从而实现实时码头监控与智能化码头管理。
33.本实施例现将集卡工作状态分为安全工作状态与非安全工作状态两种。安全工作状态即指无异常发生的工作状态。而非安全工作状态主要包括两大类因锁头锁死而造成的吊起情况：内侧吊起与外侧吊起。而内侧与外侧的定义是针对于现场镜头安装的位置而决定的。
34.如图1所示，高清摄像头通常安装在集装箱卡车(通常由20尺与40尺两种型号组成)靠龙门架一侧安装，为了描述的方便性，通常本实施例称集卡靠集装箱堆组一侧为集卡的外侧或左侧；相对地，集卡靠高清摄像头安装一侧为内侧或右侧。(本实施例意图为依赖现有试点智能码头已安装设备，不增加额外费用安装新传感器的情况下实现自动报警。)内侧吊起，即是集卡相对于高清摄像头左侧存在有锁头未及时解锁，高清摄像头能捕捉清晰的集装箱异常姿态上升的情形。外侧吊起，则指集卡的右侧存在有锁头未及时解锁，高清摄像头未能捕捉清晰的集装箱异常箱位上升的情形。
35.在本实施例中，如果现有的摄像头可以对所有的情况进行拍摄，则不需要额外增加新的摄像头；如果有一部分摄像头无法拍摄到，则可以针对无法拍摄到的情况增加新的摄像头。
36.如图2所示，本实施例提供了一种基于resnet的自动编码器实现聚类的方法，主要包括：数据采集，数据处理，实时反馈三部分。其中，正方形表示系统的软硬件部分，菱形表示数据内容，箭头则是数据流向，柱形图代表了现场作业数据集，而云状图则代表了定义的自动编码器。
37.在早期vgg神经网络诸多探索下，通常发现网络参数越多，层数越多，结构越复杂，则网络的表达能力更强，由此分类的准确率也能越高。然而在深度cnn的网络层数到达一定的深度之后，继续增加网络的深度，反而减慢了网络收敛的速度，减少了网络分类的精确度。因为引入resnet来解决上述问题。它非像一般意义的vgg网络使用有参层建立输入与输出之间的直接映射，而引入了多个有参层分析比较输入与输出之间的残差来表示，如图3所
示残差模块的示意图。本实施例设某层网络结构的输入为x，网络结构为f，则输出为f(x)，则一般vgg的映射即可表示为f(x)=x，而残差网络结构的映射则可以简单的表示为f(x)=(f(x)-x)+x。经实验的有效证明，简单堆叠深度的网络在后期容易出现较高的训练误差，而增加以残差模块为基础的resnet的深度能有效获得可观的准确率提升，同时与一般vgg相比，resnet具有更快的收敛性，易于在实际工作中合理化利用计算资源，提升运行速率。
38.在选择合适的神经网络结构之后，本实施例首先要实现resnet自动编码器(figure a与figure b是基于resnet自动编码器与原始编码器的对比图)，图4是根据本技术实施例的原理示意图，结合图4，其主要步骤如下：
39.1.准备输入图片输入网络结构；
40.2.将图像输入编码器，由具有标准resnet和reluctant激活的卷积层和最大层组成；
41.3.输出一个低维的编码
42.4.将编码输入译码器(由转置的卷积层和解池化层组成)
43.5.获得与输入图片尺寸相同的输出图片
44.本实施例实现了自动编码器的编码器部分，其结构与resnet18卷积网络的特征提取层结构相同，然后摒弃原有的分类器与池化层，因为本实施例只需要复用卷积层来提取相应的特征(如figure b中resnet block与figure c原始resnet结构比较，resnet block摒弃了全连阶层已经softmax层)。接着本实施例改写了池化层，将需要的池索引赶回给输出，因此本实施例改写了forward()函数，增加了返回池索引的功能，通常具有两个输出：值与池索引。通过forward()函数，本实施例实现了在编码器按层顺序执行，生成池索引并有序集合返回。
45.本实施例里的译码器可以简单的看成解码器的转置，可以堪称编码器的镜像。译码器包括两部分组成：二维转置卷积以及二维解池组，并且放弃了原有的归一化和激活函数。同时这里也改写了forward()函数，使译码器在解池化的过程中向前传播解码图像张量以及池索引。
46.在训练好自动编码器后，编码器可以在较低的唯独上面表示图像数据集高层出现的特征，通过欧几里得距离可以衡量出高级相似的特征对应的编码比随机编码更接近。因此在自动编码器实现之后，本实施例主要获得图片之间的欧几里得距离，并且放入k-means聚类，并把k值设置为2，即对应的安全与不安全两个状态，这样就能实现对图片的自动分类。
47.在数据采集阶段，本实施例通过在作业现场安指定固定位置安装高清摄像头，捕捉现场作业的实时图片，并将实时信息传输回，交由本实施例的网络模型分析与处理。在数据采集阶段，本实施例通过在作业现场安指定固定位置安装高清摄像头，捕捉现场作业的实时图片，并将实时信息传输回，交由本实施例的网络模型分析与处理。
48.在数据处理阶段，消息输出逻辑如图5所示。首先判断现场是否处于工作状态的模型工作，判断现场是否处于工作状态。如果模型输出为处于非工作状态，则直接传回处于非工作状态的状态信息。而当此模型输出为工作状态，那么判断是否处于作业安全状态的模型则会运行判断。如果模型输出为安全状态，则直接传回处于安全工作状态的状态信息，而如果模型输出为非安全状态，则会出发报警机制，提醒现场操作人员(包括码头工作人员以
及司机)出现集卡吊起状态，需停止操作加以处理。其中，判断是否处于工作状态还是处于非工作状态可以是一种可选的实施方式。
49.在本实施例中，提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行以上实施例中的方法。
50.上述程序可以运行在处理器中，或者也可以存储在存储器中(或称为计算机可读介质)，计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
51.这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。
52.该本实施例中就提供了这样的一种装置或系统。该系统被称为集装箱装卸安全检测系统，包括：训练模块，用于使用多组训练数据对基于神经网络的机器学习模型进行训练，得到收敛的机器学习模型；其中，所述多组训练数据来自于现场作业数据集；拍摄模块，用于通过摄像头对龙门吊与集装箱卡车上的集装箱连接的锁头进行拍摄，得到照片；输入模块，用于将所述照片输入到所述机器学习模型中；获取模块，用于获取所述机器学习模型输出的结果，其中，所述结果用于指示所述锁头是否处于安全状态。
53.该系统或者装置用于实现上述的实施例中的方法的功能，该系统或者装置中的每个模块与方法中的每个步骤相对应，已经在方法中进行过说明的，在此不再赘述。
54.例如，所述训练模块用于：将所述现场作业数据集经过基于resnet的编码器进行编码；将编码后的所述现场作业数据集输入到基于聚类的机器学习模型中分类。可选地，所述训练模块用于：输入所述现场作业集中的图像；将所述图像输入到编码器；接收所述编码器输出的低维编码；将所述低维编码输入译码器，获取与输入的所述图像尺寸相同的图像。可选地，所述低维是指输出的编码的维度小于所述图像输入所述编码器之前的维度，所述维度用于指示所述图像中的特征数量。
55.又例如，还可以包括：报警模块，用于在所述锁头未处于安全状态的情况下，进行报警。
56.在上述实施例中，所需要的物理设备较少，仅需在工作现场安装相应的高清摄像头，并不需要安装额外的传感器。本实施例所需的人工成本大幅缩减，所需的人力干预出现在出现报警后的人工矫正过程，因此大大缩减了人工成本，同时也确保了员工工作的安全性。本实施例除去预训练神经网络模型需要消耗计算资源，在判断分类阶段所需的计算损耗较小。
57.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，
本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种集装箱装卸安全检测方法，其特征在于，包括：使用多组训练数据对基于神经网络的机器学习模型进行训练，得到收敛的机器学习模型；其中，所述多组训练数据来自于现场作业数据集；通过摄像头对龙门吊与集装箱卡车上的集装箱连接的锁头进行拍摄，得到照片；将所述照片输入到所述机器学习模型中；获取所述机器学习模型输出的结果，其中，所述结果用于指示所述锁头是否处于安全状态。2.根据权利要求1所述的方法，其特征在于，对基于神经网络的机器学习模型进行训练包括：将所述现场作业数据集经过基于resnet的编码器进行编码；将编码后的所述现场作业数据集输入到基于聚类的机器学习模型中分类。3.根据权利要求2所述的方法，其特征在于，将所述现场作业数据集经过基于resnet的编码器进行编码包括：输入所述现场作业集中的图像；将所述图像输入到编码器；接收所述编码器输出的低维编码；将所述低维编码输入译码器，获取与输入的所述图像尺寸相同的图像。4.根据权利要求3所述的方法，其特征在于，所述低维是指输出的编码的维度小于所述图像输入所述编码器之前的维度，所述维度用于指示所述图像中的特征数量。5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：在所述锁头未处于安全状态的情况下，进行报警。6.一种集装箱装卸安全检测系统，其特征在于，包括：训练模块，用于使用多组训练数据对基于神经网络的机器学习模型进行训练，得到收敛的机器学习模型；其中，所述多组训练数据来自于现场作业数据集；拍摄模块，用于通过摄像头对龙门吊与集装箱卡车上的集装箱连接的锁头进行拍摄，得到照片；输入模块，用于将所述照片输入到所述机器学习模型中；获取模块，用于获取所述机器学习模型输出的结果，其中，所述结果用于指示所述锁头是否处于安全状态。7.根据权利要求6所述的系统，其特征在于，所述训练模块用于：将所述现场作业数据集经过基于resnet的编码器进行编码；将编码后的所述现场作业数据集输入到基于聚类的机器学习模型中分类。8.根据权利要求7所述的系统，其特征在于，所述训练模块用于：输入所述现场作业集中的图像；将所述图像输入到编码器；接收所述编码器输出的低维编码；将所述低维编码输入译码器，获取与输入的所述图像尺寸相同的图像。9.根据权利要求8所述的系统，其特征在于，所述低维是指输出的编码的维度小于所述图像输入所述编码器之前的维度，所述维度用于指示所述图像中的特征数量。
10.根据权利要求6至9中任一项所述的系统，其特征在于，还包括：报警模块，用于在所述锁头未处于安全状态的情况下，进行报警。

技术总结
本申请公开了一种集装箱装卸安全检测方法和系统，该方法包括：使用多组训练数据对基于神经网络的机器学习模型进行训练，得到收敛的机器学习模型；其中，所述多组训练数据来自于现场作业数据集；通过摄像头对龙门吊与集装箱卡车上的集装箱连接的锁头进行拍摄，得到照片；将所述照片输入到所述机器学习模型中；获取所述机器学习模型输出的结果，其中，所述结果用于指示所述锁头是否处于安全状态。通过本申请解决了现有技术中依靠人工来判断集卡集装箱的锁头所带来的安全隐患所导致的问题，从而减少了人工成本。而减少了人工成本。而减少了人工成本。


技术研发人员：高聪 杭珂烨 赵增民 季彬 陆思烽 肖梓贤
受保护的技术使用者：南京飞衍智能科技有限公司
技术研发日：2021.12.07
技术公布日：2022/3/8