一种全景立体图像质量评价方法和装置与流程

本发明一般涉及全景立体图像质量评价领域，并且更具体地，涉及一种全景立体图像质量评价方法和装置。

背景技术：

1、随着虚拟现实（vr）技术的发展，提供沉浸式、真实视觉体验的全景图像备受关注，成为工业、教育、游戏等领域的研究热点之一。5g的发展可以利用更高的带宽来传输vr内容，越来越多的全景图像和视频以立体3d格式呈现。与传统平面图像不同，立体全景图像包含两个视图：左视图和右视图，且每个视图覆盖360×180观看范围。在头戴式显示器的帮助下，用户可以自由地探索与现实世界相似的虚拟场景，并在沉浸式环境中获得体验质量。然而，这种沉浸式、互动性的体验对立体全景图像质量提出了很高的要求，也给存储和传输带来了沉重的负担。在图像处理的每个阶段，可能会引入失真，导致捕获的图像质量受损，降低用户的体验质量。虽然近年来研究人员对图像质量评价进行了深入的研究，但对立体全景图像质量评价的研究仍处于起步阶段，限制了全景图像技术的进一步发展与应用。因此，如何准确的评价立体全景图像的质量在实际应用场景中具有至关重要的作用。起初人们直接应用平面图像质量评价方法评价立体全景图像的质量，未考虑全景图像的大视角特点，效果不佳。考虑到视口图像在大场景全景图像感知中扮演着重要的角色，研究人员纷纷结合全景图像视口感知特性，提出了相关的立体全景图像质量评价方法，性能有所提升。随后，考虑到立体全景图像兼具全景和立体感知的特点，人们将立体图像质量评价方法应用在立体全景图像质量评价领域，虽然相对于传统平面方法性能有一定提升，但由于缺乏对人类视觉感知特性的分析和提取，其性能仍然无法满足实际应用需求。

2、目前的立体全景图像质量评价方法存在如下缺陷：（1）对视口进行简单的感知特性提取，缺乏精度；（2）没有有效融合多尺度的立体视觉特征，性能有限；（3）综合考虑了多尺度视觉特征，但在交互和融合方法上研究不够深入。综上，在立体全景图像质量评价方法中，需要考虑多方面的因素，包括视口感知特点、立体视觉感知特点和高效的特征交互融合。因此，需要结合上述多个方面，构建出切实可行的立体全景图像质量评价方法。

技术实现思路

1、根据本发明的实施例，提供了一种全景立体图像质量评价方案。本方案适合人眼的观看特点，符合实际应用场景图像特点，具有普适性，并能有效提高模型的整体性能。

2、本发明提供了一种全景立体图像质量评价方法。该方法包括：

3、获取目标失真全景立体图的左视图和右视图，对目标失真全景立体图的左视图和右视图进行视口分割，得到左视口图和右视口图；

4、将左视口图与其生成的退化左视口图作差，得到左视口退化差图，并将所述左视口退化差图输入单目特征提取模型，输出视口单目特征；以及

5、将左视口图和右视口图输入resnet50模型，得到两个视口的多级视觉特征；将所述两个视口的多级视觉特征分别输入双目和特征提取模型、双目差特征提取模型，得到视口双目和特征、视口双目差特征；

6、将所述视口单目特征、视口双目和特征、视口双目差特征进行特征融合，得到视口图的质量评价分数；

7、根据目标失真全景立体图的每个视口图的质量评价分数，得到目标失真全景立体图的质量评价分数。

8、进一步地，所述resnet50模型，依次包括：卷积层、池化层、第一残差块、第二残差块、第三残差块和第四残差块；

9、所述第二残差块用于输出左视口的第一级视觉特征以及右视口的第一级视觉特征；

10、所述第三残差块用于输出左视口的第二级视觉特征以及右视口的第二级视觉特征；

11、所述第四残差块用于输出左视口的第三级视觉特征以及右视口的第三级视觉特征。

12、进一步地，所述双目和特征提取模型，包括：

13、第一concate模块，所述第一concate模块的输入数据包括：第一级双目和特征、第二级全局池化双目和特征和第三级全局池化双目和特征；所述第一级双目和特征是所述左视口的第一级视觉特征与所述右视口的第一级视觉特征相加的结果；所述第二级全局池化双目和特征是由第二级双目和特征进行全局池化得到的，所述第二级双目和特征是所述左视口的第二级视觉特征与所述右视口的第二级视觉特征相加的结果；所述第三级全局池化双目和特征是由第三级双目和特征进行全局池化得到的，所述第三级双目和特征是所述左视口的第三级视觉特征与所述右视口的第三级视觉特征相加的结果；

14、第一全连接层，所述第一全连接层的输入数据为所述第一concate模块的输出；

15、第二concate模块，所述第二concate模块的输入数据包括：所述第一全连接层的输出和所述第一级双目和特征；

16、第二全连接层，所述第二全连接层的输入数据为所述第二concate模块的输出，并将所述第二全连接层的输出作为视口双目和特征。

17、进一步地，所述双目差特征提取模型，包括：一级差模型、第一二级差模型和第二二级差模型；

18、将所述左视口的第一级视觉特征和所述右视口的第一级视觉特征输入所述一级差模型，获取第一级双目差特征；将所述第一级双目差特征、所述左视口的第二级视觉特征和所述右视口的第二级视觉特征输入所述第一二级差模型，得到第二级双目差特征；将所述第二级双目差特征、所述左视口的第三级视觉特征和所述右视口的第三级视觉特征输入所述第二二级差模型，输出第三级双目差特征，并将所述第三级双目差特征作为视口双目差特征。

19、进一步地，所述一级差模型用于将左视口的第一级视觉特征和右视口的第一级视觉特征分别进行全局池化后作差，再将作差后的结果输入第三全连接层后进行输出；

20、所述第一二级差模型用于将左视口的第二级视觉特征和右视口的第二级视觉特征分别进行全局池化，将全局池化后的结果与所述第一级双目差特征进行作差，再将作差后的结果输入第四全连接层，将第四全连接层的输出结果与所述第一级双目差特征输入第三concate模块后进行输出；

21、所所述第二二级差模型用于将左视口的第三级视觉特征和右视口的第三级视觉特征分别进行全局池化，将全局池化后的结果与第二级双目差特征进行作差，再将作差后的结果输入第五全连接层，将第五全连接层的输出结果与第二级双目差特征输入第四concate模块后进行输出。

22、进一步地，将所述视口单目特征、视口双目和特征、视口双目差特征进行特征融合，得到视口图的质量评价分数，包括：

23、将所述视口双目和特征输入第一sw-msa模块，再将第一sw-msa模块的输出结果输入第一gelu激活函数模块；将所述视口双目差特征输入第二sw-msa模块，再将第二sw-msa模块的输出结果输入第二gelu激活函数模块；将所述第一gelu激活函数模块和第二gelu激活函数模块的输出结果与所述单目特征进行特征融合，再将融合的结果输入ln层，将所述ln层的输出结果输入第六全连接层，得到所述视口图的质量评价分数。

24、在本发明的第二方面，提供了一种全景立体图像质量评价装置。该装置包括：

25、获取模块，用于获取目标失真全景立体图的左视图和右视图，对目标失真全景立体图的左视图和右视图进行视口分割，得到左视口图和右视口图；

26、特征提取模块，包括：第一特征提取模块和第二特征提取模块；

27、第一特征提取模块，用于将左视口图与其生成的退化左视口图作差，得到左视口退化差图，并将所述左视口退化差图输入单目特征提取模型，输出视口单目特征；

28、第二特征提取模块，用于将左视口图和右视口图输入resnet50模型，得到两个视口的多级视觉特征；将所述两个视口的多级视觉特征分别输入双目和特征提取模型、双目差特征提取模型，得到视口双目和特征、视口双目差特征；

29、第一评价模块，用于将所述视口单目特征、视口双目和特征、视口双目差特征进行特征融合，得到视口图的质量评价分数；

30、第二评价模块，用于根据目标失真全景立体图的每个视口图的质量评价分数，得到目标失真全景立体图的质量评价分数。

31、在本发明的第三方面，提供了一种电子设备。该电子设备至少一个处理器；以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明第一方面的方法。

32、在本发明的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本发明第一方面的方法。

技术特征：

1.一种全景立体图像质量评价方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述resnet50模型，依次包括：卷积层、池化层、第一残差块、第二残差块、第三残差块和第四残差块；

3.根据权利要求2所述的方法，其特征在于，所述双目和特征提取模型，包括：

4.根据权利要求2所述的方法，其特征在于，所述双目差特征提取模型，包括：一级差模型、第一二级差模型和第二二级差模型；

5.根据权利要求4所述的方法，其特征在于，所述一级差模型用于将左视口的第一级视觉特征和右视口的第一级视觉特征分别进行全局池化后作差，再将作差后的结果输入第三全连接层后进行输出；

6.根据权利要求1所述的方法，其特征在于，将所述视口单目特征、视口双目和特征、视口双目差特征进行特征融合，得到视口图的质量评价分数，包括：

7.一种全景立体图像质量评价装置，其特征在于，包括：

8.一种电子设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其特征在于，

9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

技术总结
本发明的实施例提供了一种全景立体图像质量评价方法和装置。所述方法包括：获取图像的左、右视图，对其进行视口分割得到左、右视口图；将左视口图与退化左视口图作差，并输入单目特征提取模型，得到视口单目特征；将左、右视口图输入ResNet50模型，然后分别输入双目和特征和双目差特征提取模型，得到视口双目和特征、视口双目差特征；将视口单目特征、视口双目和特征、视口双目差特征融合得到质量评价分数；根据每个视口图的质量评价分数，得到目标的质量评价分数。以此方式，可以有效结合人眼观看全景图像的视口特性和立体视觉特性，降低计算复杂度的同时捕获丰富的视觉信息和完整的立体感知信息，并利用多级特征提取提高模型精度。

技术研发人员：武靖恺,刘允,韩少野,徐波,吕景松,董玉杰,付立军,李鑫,代红梅,蒋金河
受保护的技术使用者：辽宁北斗卫星导航平台有限公司
技术研发日：
技术公布日：2024/12/5