一种基于Bi-LSTM的视频丢帧卡帧异常检测方法及系统与流程
本发明涉及图像检测，尤其涉及一种基于bi-lstm的视频丢帧卡帧异常检测方法及系统
背景技术：
1、在播放设备播放视频时，有时会出现丢帧或卡帧的情况，对此，需要对丢帧或卡帧位置进行定位，以确认上述故障发生的具体原因。而目前视频丢帧卡帧的检测方法，有以下问题：第一种、使用人力实时观看视频进行检测，由于眼睛无法完整的捕获每一帧的像素点变化，从而无法快速判断每一帧的数据是否异常。第二种、使用视频剪辑工具，对视频的每一帧进行分析，而且需要观看大量的视频帧，这种方式费时费力且操作繁琐。
2、因此，目前需要一种能够自动对卡帧丢帧进行检测的方法。
技术实现思路
1、为解决上述问题，本发明提供了一种基于bi-lstm的视频丢帧卡帧异常检测方法与系统，通过训练bi-lstm学习视频内容的逻辑性，从而在播放设备播放视频时检测其是否丢帧或卡帧，解决了现有检测方法费时费力且操作繁琐的问题。
2、为实现上述目的，本发明提供以下技术方案：
3、一种基于bi-lstm的视频丢帧卡帧异常检测方法，包括以下步骤：
4、s1.获取视频数据集，所述视频数据集包括若干个带有标签的视频，所述视频数据集中包括若干个标定视频，所述每个标定视频中帧与帧之间的内容具有逻辑性；
5、s2.对视频数据集进行预处理，构建视频识别神经网络模型，所述视频识别神经网络模型包括bi-lstm层，向所述视频识别神经网络模型输入视频数据集，对视频识别神经网络模型进行训练，得到训练好的视频识别神经网络模型，所述视频识别神经网络模型用于检测标定视频帧与帧之间内容是否具有逻辑性；
6、s3.将标定视频载入待检测场景，利用视频识别神经网络模型对载有标定视频的待检测场景进行检测，记录标定视频帧与帧之间内容具有逻辑性的位置，所述位置即为丢帧或卡帧位置。
7、进一步地，在步骤s2中，所述视频识别神经网络模型包括卷积操作层、激活函数层、池化层、bi-lstm层以及全连接层。
8、进一步地，在步骤s2中，所述视频识别神经网络模型中的卷积操作层的卷积操作为二维卷积操作，所述卷积操作层包括若干个卷积层，所述卷积层的参数包括卷积核、步长和像素填充；所述视频识别神经网络模型中的激活函数层的激活函数为relu函数；所述池化层中的池化操作为最大池化操作；所述bi-lstm层包括双向长短期记忆网络；所述全连接层为尺寸为1×1的卷积层。
9、进一步地，在步骤s2中，所述对视频识别神经网络模型进行训练，其具体实现方式包括：将视频数据集中的标定视频依次输入至视频识别神经网络模型，利用ctc损失函数计算视频识别神经网络模型输出结果与视频的标签之间的损失，根据损失进行反向传播调整参数，直至训练次数达到预设次数或是计算得到的损失小于预设阈值，结束训练，得到训练好的视频识别神经网络模型。
10、进一步地，在步骤s2中，所述对视频数据集进行预处理，其具体实现方式包括：将视频数据集中的标定视频进行裁剪，将标定视频每帧图像进行灰度化，所述灰度化的公式为gray＝r*0.299+g*0.587+b*0.114，其中，r、g、b分别表示红绿蓝三个通道对应的像素值，gray表示计算得到的灰度值；
11、对标定视频添加高斯噪声，所述添加高斯噪声的公式为
12、
13、其中，i(x,y)为坐标(x,y)处的灰度值，i'(x,y)为添加高斯噪声后的灰度值；
14、对标定视频添加椒盐噪声，所述添加椒盐噪声的公式为
15、
16、其中，i(x,y)为坐标(x,y)处的灰度值，ppepper表示像素变为黑色的概率，psalt表示像素变为白色的概率。
17、进一步地，在步骤s1的具体实现方式包括：构建若干个每帧内容只包括数字的标定视频，一个标定视频中帧与帧之间的数字连续或具有相同规律，对于每个视频有一个对应标签数组，所述标签数组内容为按顺序排列的对应视频中的数字。
18、进一步地，在步骤s3中，所述将标定视频载入待检测场景，利用视频识别神经网络模型对载有标定视频的待检测场景进行检测，其具体实现方式包括：所述待检测场景包括待检测设备，利用待检测设备播放标定视频，获取待检测设备播放标定视频时的图像，利用视频识别神经网络模型待检测设备播放标定视频时的图像进行检测。
19、进一步地，在步骤s3中，所述记录标定视频帧与帧之间内容具有逻辑性的位置，其具体实现方式包括：视频识别神经网络模型由第一帧开始，逐帧识别并记录待检测设备播放内容，将每帧显示的数字与上一帧显示的数字进行对比，当两帧显示的数字相同时，记录为卡帧，当两帧显示的数字不连续或不符合相同规律时，记录为丢帧。
20、进一步地，所述视频数据集还可以为带有水印的视频，每个视频中帧与帧之间的水印内容具有逻辑性。
21、通过上述技术方案，本发明具有以下有益效果：通过训练bi-lstm模型，对视频内容进行学习，提取视频画面的逻辑性特征，并根据视频画面的逻辑性特征判断是否存在丢帧或卡帧的情况，节省人力成本以及时间成本，捅死bi-lstm能够学习数据的前后文的逻辑性，能够保证识别的准确性。
技术特征：
1.一种基于bi-lstm的视频丢帧卡帧异常检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于bi-lstm的视频丢帧卡帧异常检测方法，其特征在于，在步骤s2中，所述视频识别神经网络模型包括卷积操作层、激活函数层、池化层、bi-lstm层以及全连接层。
3.根据权利要求2所述的一种基于bi-lstm的视频丢帧卡帧异常检测方法，其特征在于，在步骤s2中，所述视频识别神经网络模型中的卷积操作层的卷积操作为二维卷积操作，所述卷积操作层包括若干个卷积层，所述卷积层的参数包括卷积核、步长和像素填充；所述视频识别神经网络模型中的激活函数层的激活函数为relu函数；所述池化层中的池化操作为最大池化操作；所述bi-lstm层包括双向长短期记忆网络；所述全连接层为尺寸为1×1的卷积层。
4.根据权利要求1所述的一种基于bi-lstm的视频丢帧卡帧异常检测方法，其特征在于，在步骤s2中，所述对视频识别神经网络模型进行训练，其具体实现方式包括：将视频数据集中的标定视频依次输入至视频识别神经网络模型，利用ctc损失函数计算视频识别神经网络模型输出结果与视频的标签之间的损失，根据损失进行反向传播调整参数，直至训练次数达到预设次数或是计算得到的损失小于预设阈值，结束训练，得到训练好的视频识别神经网络模型。
5.根据权利要求1所述的一种基于bi-lstm的视频丢帧卡帧异常检测方法，其特征在于，在步骤s2中，所述对视频数据集进行预处理，其具体实现方式包括：将视频数据集中的标定视频进行裁剪，将标定视频每帧图像进行灰度化，所述灰度化的公式为gray＝r*0.299+g*0.587+b*0.114，其中，r、g、b分别表示红绿蓝三个通道对应的像素值，gray表示计算得到的灰度值；
6.根据权利要求1所述的一种基于bi-lstm的视频丢帧卡帧异常检测方法，其特征在于，在步骤s1的具体实现方式包括：构建若干个每帧内容只包括数字的标定视频，一个标定视频中帧与帧之间的数字连续或具有相同规律，对于每个视频有一个对应标签数组，所述标签数组内容为按顺序排列的对应视频中的数字。
7.根据权利要求6所述的一种基于bi-lstm的视频丢帧卡帧异常检测方法，其特征在于，在步骤s3中，所述将标定视频载入待检测场景，利用视频识别神经网络模型对载有标定视频的待检测场景进行检测，其具体实现方式包括：所述待检测场景包括待检测设备，利用待检测设备播放标定视频，获取待检测设备播放标定视频时的图像，利用视频识别神经网络模型待检测设备播放标定视频时的图像进行检测。
8.根据权利要求7所述的一种基于bi-lstm的视频丢帧卡帧异常检测方法，其特征在于，在步骤s3中，所述记录标定视频帧与帧之间内容具有逻辑性的位置，其具体实现方式包括：视频识别神经网络模型由第一帧开始，逐帧识别并记录待检测设备播放内容，将每帧显示的数字与上一帧显示的数字进行对比，当两帧显示的数字相同时，记录为卡帧，当两帧显示的数字不连续或不符合相同规律时，记录为丢帧。
9.根据权利要求1所述的一种基于bi-lstm的视频丢帧卡帧异常检测方法，其特征在于，所述视频数据集还可以为带有水印的视频，每个视频中帧与帧之间的水印内容具有逻辑性。
10.一种基于bi-lstm的视频丢帧卡帧异常检测系统，其特征在于，包括：
技术总结
本发明公开了一种基于Bi‑LSTM的视频丢帧卡帧异常检测方法及系统，包括：获取视频数据集，所述视频数据集中包括若干个标定视频，所述每个标定视频中帧与帧之间的内容具有逻辑性；构建视频识别神经网络模型，所述视频识别神经网络模型包括Bi‑LSTM层，向所述视频识别神经网络模型输入视频数据集，得到训练好的视频识别神经网络模型；将标定视频载入待检测场景，利用视频识别神经网络模型对载有标定视频的待检测场景进行检测，记录标定视频帧与帧之间内容具有逻辑性的位置，所述位置即为丢帧或卡帧位置。本发明通过训练Bi‑LSTM学习视频内容的逻辑性，从而在播放设备播放视频时检测其是否丢帧或卡帧，解决了现有检测方法费时费力且操作繁琐的问题。
技术研发人员：吴才朋,李昌绿,阮胜林,张常华
受保护的技术使用者：广东保伦电子股份有限公司
技术研发日：
技术公布日：2024/12/5