一种全景视频的低照度增强方法与流程

本发明涉及全景视频增强方法领域，更具体地说，涉及一种全景视频的低照度增强方法。

背景技术：

1、随着视频监控技术的不断发展和广泛应用，人们对夜间、低照度环境下的监控视频质量提出了越来越高的要求。然而，由于光线不足、噪声大、动态范围窄等因素的制约，传统的视频监控系统在低照度条件下往往难以获得清晰、稳定的图像，严重影响了监控的可靠性和有效性。

2、当前，低照度视频增强领域主要采用以下几类技术方案：

3、1.基于硬件的增强方法。代表性方案有增大镜头光圈、使用超大靶面图像传感器、外接红外补光灯等。这类方法虽然在一定程度上提高了低照度成像质量，但同时存在成像质量提升有限、系统复杂笨重、集成难度大、成本高昂等问题，在实际应用中受到诸多限制。

4、2.基于图像后处理的增强方法。代表性方案有直方图均衡化、retinex增强、小波变换去噪、双边滤波等。这类方法操作简单，成本较低，但性能提升不明显，尤其是在光照极低、噪声严重的复杂场景下，往往达不到理想的增强效果，且容易引入过增强伪影。

5、3.基于多帧合成的增强方法。代表性方案有多帧降噪、超分辨率重建、高动态范围成像等。这类方法利用时间域上的图像冗余信息，在一定程度上改善了成像质量。但现有方案大多针对静态场景，对运动目标易产生运动模糊和拖影，且对硬件算力要求较高，实时性不理想。

6、4.基于深度学习的增强方法。该方法利用卷积神经网络强大的特征提取和映射能力，可获得较为理想的增强效果。但存在训练样本获取难、模型泛化能力不足、计算量大、硬件依赖强等局限性，在嵌入式等资源受限平台上的应用受阻。

7、上述几类方案虽然在特定场合下取得了一定效果，但仍难以满足实际监控应用的多样化需求，尤其是在光照极弱、场景复杂多变的恶劣环境下，要获得稳定清晰、细节丰富的监控视频仍面临巨大挑战。

8、此外，随着安防、交通、工业等领域对大场景全景化监控的迫切需求，传统的单目监控系统已难以满足实际需要。然而，现有的多相机阵列拼接方案大多只考虑了视场扩展而忽视了在低照度下的成像质量，导致全景视频亮度不均、细节丢失、运动模糊等问题突出，难以发挥全景监控的应有作用。

9、综上所述，现有的低照度视频增强技术尚不能很好地兼顾成像质量、实时性、硬件适应性、集成便捷性和经济性等实际需求，尤其缺乏一种适用于低照度全景监控的行之有效的技术方案。这极大制约了夜间、弱光环境下视频监控的可靠性和有效性，亟需研究开发一种更加系统完善、性能优异的低照度增强方法，以满足日益多样化的监控应用需求。

技术实现思路

1、有鉴于此，本发明提出一种全景视频的低照度增强方法。该方法创新性地引入了平行光轴双目阵列成像、短长曝光融合、频域分解增强、区域自适应运动补偿等关键技术，在硬件成本可控的前提下，实现了极低照度下高质量、大视场视频的稳定获取。

2、为解决上述技术问题，本发明采用如下的技术方案：

3、一种全景视频的低照度增强方法，该方法包括以下步骤：

4、步骤一，将至少四组双目平行光轴镜头模组进行光轴平行标定，每组所述双目平行光轴镜头模组的水平视场角大于90°，四组所述双目平行光轴镜头模组的光轴方向间隔90°，共覆盖360°全景；

5、步骤二，每组所述双目平行光轴镜头模组中的两个镜头分别采集同一场景的短曝光图像和长曝光图像；

6、步骤三，对每组双目平行光轴镜头模组采集的所述短曝光图像和长曝光图像进行图像预处理、前后景分离和运动补偿估计；

7、步骤四，将经前景分离后的所述短曝光图像中的高频前景图像和经预处理后的长曝光背景图像进行图像配准与融合，得到每组双目平行光轴镜头模组的低照度增强图像；

8、步骤五，对所有双目平行光轴镜头模组的低照度增强图像进行编码压缩，得到多路低照度增强视频，将所述多路低照度增强视频进行全景拼接，生成最终的低照度增强全景视频。

9、具体地，所述双目平行光轴镜头模组包括两个光轴严格平行的镜头和图像传感器，两个所述镜头的焦距相同，两个所述镜头的相对位置固定且尽可能靠近。

10、具体地，所述步骤三中对长曝光图像的预处理包括：图像缩放、过曝剔除、填补空洞和图像放大复原

11、具体地，所述步骤三中长曝光图像的缩放比例为1/2，放大复原比例为2倍。

12、具体地，所述步骤三中对短曝光图像的预处理包括：图像缩放、高斯滤波、背景建模、前后景分离、空洞填补去噪和图像放大复原。

13、具体地，所述高斯滤波采用的高斯核函数为：

14、其中，g(x,y)为高斯函数，(x,y)为图像坐标，σ为高斯分布标准差，其值决定平滑程度。

15、具体地，所述背景建模基于逐像素高斯混合模型，其概率密度函数为：

16、

17、其中，p(xt)为在时刻t像素值为xt的概率密度，k为高斯分布数目，n(xt；μi,∑i)为第一i个高斯分布，μi为均值，∑i为协方差，ωi为第i个高斯分布权重，像素点的概率密度p(xt)<t则判为前景，否则为背景，其中t为设定的阈值。

18、具体地，所述步骤三中短曝光图像的运动补偿估计基于块匹配算法，将图像分块并在参考帧上搜索最佳匹配块，匹配块与当前块的位移为运动矢量，即：

19、

20、其中，ct为当前帧分块图像，rt-1为参考帧图像，nx,ny为块大小，(u,v)为运动矢量，使mad最小。

21、具体地，所述步骤四中短曝光前景图像与长曝光背景图像的融合按频段加权实现，即：

22、f＝wh·fh+wm·fm+wl·bl+w0

23、其中，f为融合结果，fh,fm分别为短曝光前景图像的高频、中频分量，bl为长曝光背景图像的低频分量，wh,wm,wl为对应分量的权重，w0为亮度补偿。

24、具体地，所述步骤三中短曝光图像预处理的另一实施方式为：对短曝光图像进行亮度和对比度增强后，再利用iir滤波进行前背景分离，所述iir滤波为：

25、i(xy)＝αi′(x,y)+(1-α)i′p(x,y)

26、其中，i(x,y)为滤波输出，i′(x,y)为当前短曝光图像，i′p(x,y)为上一帧滤波结果，0<α<1为平滑因子。

27、与现有技术相比，本发明具有以下优点和有益效果：

28、1.充分利用短长曝光互补成像的优势，在保留亮区细节的同时，显著提高了暗区信噪比，使图像层次更丰富，视觉质量大为改善。

29、2.频域融合策略可根据场景内容自适应调节各频段权重，在增强细节纹理的同时，避免了过增强和梯度反转等伪影，使处理后的图像更加自然。

30、3.自适应运动估计和补偿算法能够准确获取像素级运动信息，有效消除运动目标的残影模糊，适用于动、静态混合场景。

31、4.完善的全景拼接方案可获得视场广阔、细节清晰、亮度均匀的360度全景图像，为大场景监控提供了有力支撑。

32、5.模块化的处理流程，硬件结构简单紧凑，算法复杂度较低，易于工程实现和产业化推广。

33、总之，本发明所提出的全景视频低照度增强方法能够有效克服现有技术的不足，在极弱光环境下实现了高质量、全景化的视频获取，为夜间安防监控、应急救援、考古探测等领域提供了强有力的技术支撑，促进了计算机视觉技术在低照度成像领域的发展和应用，具有重要的理论研究价值和广阔的应用前景。

技术特征：

1.一种全景视频的低照度增强方法，其特征在于，该方法包括以下步骤：

2.如权利要求1所述的全景视频低照度增强方法，其特征在于，所述双目平行光轴镜头模组包括两个光轴严格平行的镜头和图像传感器，两个所述镜头的焦距相同，两个所述镜头的相对位置固定且尽可能靠近。

3.如权利要求1所述的全景视频低照度增强方法，其特征在于，所述步骤三中对长曝光图像的预处理包括：图像缩放、过曝剔除、填补空洞和图像放大复原。

4.如权利要求1或3所述的全景视频低照度增强方法，其特征在于，所述步骤三中长曝光图像的缩放比例为1/2，放大复原比例为2倍。

5.如权利要求1所述的全景视频低照度增强方法，其特征在于，所述步骤三中对短曝光图像的预处理包括：图像缩放、高斯滤波、背景建模、前后景分离、空洞填补去噪和图像放大复原。

6.如权利要求5所述的全景视频低照度增强方法，其特征在于，所述高斯滤波采用的高斯核函数为：

7.如权利要求5所述的全景视频低照度增强方法，其特征在于，所述背景建模基于逐像素高斯混合模型，其概率密度函数为：

8.如权利要求1所述的全景视频低照度增强方法，其特征在于，所述步骤三中短曝光图像的运动补偿估计基于块匹配算法，将图像分块并在参考帧上搜索最佳匹配块，匹配块与当前块的位移为运动矢量，即：

9.如权利要求1所述的全景视频低照度增强方法其特征在于，所述步骤四中短曝光前景图像与长曝光背景图像的融合按频段加权实现，即：

10.如权利要求1所述的全景视频低照度增强方法，其特征在于，所述步骤三中短曝光图像预处理的另一实施方式为：对短曝光图像进行亮度和对比度增强后，再利用iir滤波进行前背景分离，所述iir滤波为：

技术总结
一种全景视频的低照度增强方法，该方法包括以下步骤：步骤一，将至少四组双目平行光轴镜头模组进行光轴平行标定；步骤二，每组双目平行光轴镜头模组中的两个镜头分别采集同一场景的短曝光图像和长曝光图像；步骤三，对每组双目平行光轴镜头模组采集的短曝光图像和长曝光图像进行图像预处理、前后景分离和运动补偿估计；步骤四，将经前景分离后的短曝光图像中的高频前景图像和经预处理后的长曝光背景图像进行图像配准与融合，得到每组双目平行光轴镜头模组的低照度增强图像；步骤五，对所有双目平行光轴镜头模组的低照度增强图像进行编码压缩，得到多路低照度增强视频，将所述多路低照度增强视频进行全景拼接，生成最终的低照度增强全景视频。

技术研发人员：张红,薛灿尧
受保护的技术使用者：蜻蜓智能视界科技（深圳）有限公司
技术研发日：
技术公布日：2024/12/5