基于全局与局部协同学习的无参考全景图像质量评估模型GLCNet-OIQA及其在虚拟现实医学可视化中的应用潜力

　　本文提出一种面向无参考全景图像质量评估（NR-OIQA）的全局与局部协同学习框架（GLCNet），通过双分支架构分别捕获视口（VP）的非均匀畸变特征和局部纹理细节，采用可学习块选择范式生成稀疏表征，在三个公开数据库上验证了其优于现有方法的性能，为VR医疗影像质量评估提供新思路。

　　

Highlight

• 所提出的协同学习网络可与人眼视觉系统（HVS）的分层感知进程对齐，有利于从提取的视口（VP）中学习非均匀畸变。

• 我们引入可学习块选择范式，该范式能学习每个视口中局部纹理变化的位置偏好，进而生成稀疏图像块以无损保留纹理细节的方式表征整个视口。

• 在三个公共数据库上的综合实验证明了所提出网络的优越性。

Related work

图像质量评估（IQA）旨在通过模拟人类视觉判断自动预测图像的感知质量分数。通常，全景图像质量评估（OIQA）可分为主观和客观两类。主观OIQA依赖人类感知，被认为是最可靠的评估方法。然而，通过统计分析获取每个全景图像的真实标签是一个繁琐且耗时的过程。由于这些限制...

Proposed method

我们方法的整体框架如图3所示，主要包含四个模块，即视口图像生成模块、全局分支模块、局部分支模块和质量回归模块。各模块细节如下所述。

Databases

本研究在三个公开可用数据库上进行实验，即OIQA、CVIQD和MVAQD。这三个数据库的详细信息如下所示。

• CVIQD：包含16张原始全景图像和528张压缩图像，涵盖三种压缩畸变类型（JPEG压缩、H.264/AVC和H.265/HEVC）的11个级别。主观评分范围是[0, 100]。从该数据库提取的视口分辨率为1296×1296。

Conclusion

本文提出了一种面向无参考全景图像质量评估（OIQA）的全局与局部协同学习方法。评估畸变全景图像时存在两个亟待解决的挑战：忽视每个视口中不一致的畸变以及视口下采样过程中的纹理细节丢失。为应对这些挑战，我们构建了协同学习网络以从提取的视口中学习非均匀畸变...