超越均值：神经渲染中感知质量统计度量框架的建立与验证

《IEEE Open Journal on Immersive Displays》：Beyond the Mean: Statistical Measures for Quantifying Perceptual Quality in Neural Rendering

　　本文针对神经渲染模型仅报告均值作为整体质量指标缺乏验证的问题，研究人员开展了统计度量框架研究，通过OLS回归和效应量分析，证实均值是主导预测因子，但最大值和标准差能提供互补信息。该研究为神经渲染的QoE评估提供了更全面的统计框架，对优化沉浸式显示系统具有重要意义。

　　

在虚拟现实和增强现实技术飞速发展的今天，新视角合成（Novel View Synthesis，NVS）作为生成沉浸式体验的核心技术，其重要性不言而喻。通过神经渲染（Neural Rendering）技术，例如神经辐射场（NeRF）及其后续发展模型，人们能够从稀疏的观测点生成场景的逼真新视图，这为自由视点导航和高保真沉浸感提供了可能。然而，一个长期存在的实践是，大多数神经渲染模型在评估其性能时，仅报告合成新视图的均值（Mean）作为整体感知质量的指标。这种做法是否足够可靠？均值能否全面捕捉用户在沉浸式环境中的真实体验？这些问题引发了研究社区的深入思考。毕竟，在沉浸式显示中，NVS系统的成功与否，根本上取决于其所能提供的整体感知质量（Perceptual Quality）。当前仅依赖均值的做法缺乏充分的验证，可能掩盖了质量波动中的关键信息，甚至导致对系统性能的误判。

为了深入探究这一问题，研究人员开展了一项针对神经渲染中感知质量统计度量的系统性研究。该研究旨在回答几个核心问题：除了均值，其他统计度量能否有效近似整体感知质量？这些统计度量的组合是否能增强预测能力？如果组合有效，哪些成分贡献更大？这项研究的意义在于，它试图为神经渲染的质量评估建立一个更为严谨和全面的统计框架，从而推动沉浸式多媒体技术的优化与发展。研究成果已发表在《IEEE Open Journal on Immersive Displays》上。

为开展研究，研究人员主要采用了以下几种关键技术方法：首先，他们选择了六个统计度量——均值（Mean）、标准差（Std）、最大值（Max）、最小值（Min）、偏度（Skewness）和峰度（Kurtosis）——来表征合成新视图的质量分布。其次，采用普通最小二乘（Ordinary Least Squares, OLS）回归来建模这些统计度量与整体感知质量（如平均意见得分MOS）之间的关系，并通过R2等指标评估模型拟合优度。第三，利用部分F检验（Partial F-test）、Ramsey RESET检验、Durbin-Watson检验、Breusch-Pagan检验、White检验和Jarque-Bera检验等一系列统计诊断方法，系统评估了OLS模型的有效性，包括线性、独立性、同方差性和正态性等假设。第四，通过效应量估计（Effect Size Estimation），如标准化回归系数（β_std）、偏R2（Partial R2）和半偏R2（Semi-partial R2），量化了各个预测因子的相对贡献。最后，研究采用了交叉验证（Cross-Validation）策略，在场景级别进行数据分割，以评估模型的泛化能力和鲁棒性。所使用的数据样本来源于一个包含NeRF生成视图序列及其对应整体MOS得分的主观质量数据集，涵盖了合成场景和真实场景。

IV. Experiment

实验结果表明，单独评估时，均值（PLCC=0.8973）、最大值（PLCC=0.8655）和最小值（PLCC=0.8449）与整体质量表现出强相关性，而标准差、偏度和峰度的相关性较弱。当将六个统计度量组合到OLS回归模型中时，模型解释了整体质量方差的绝大部分（R2=0.832），预测值与真实MOS值之间也显示出强相关性（PLCC=0.9122）。模型诊断显示线性假设、残差独立性和同方差性基本满足，残差近似正态分布，支持了OLS估计的有效性。

V. Model Refinement

效应量分析揭示，均值（β_std = -2.8661, 偏R2=0.0865）和最大值（β_std = 1.7009, 偏R2=0.0930）是强有力的预测因子，标准差（β_std = 0.4001, 偏R2=0.0705）也提供了显著的互补信息。而最小值、偏度和峰度的贡献微乎其微。因此，研究去除了冗余度量，构建了包含均值、最大值和标准差的精简模型。该精简模型保持了近乎相同的预测性能（R2=0.828），且模型假设依然成立。交叉验证结果进一步表明，精简模型（Mean+Max+Std）在PLCC、SROCC和KROCC上均略优于仅使用均值的基线模型，证明了其鲁棒性。

VI. Discussion

讨论部分对研究问题进行了深入分析。首先，确认均值是整体感知质量的主导预测指标，但最大值和标准差能提供有意义的补充。其次，统计度量的组合确实显著增强了预测能力。第三，效应量估计明确了均值贡献最大，最大值和标准差次之，而最小值作用微弱。一个有趣的发现是，在视频流媒体中作为强预测因子的最小值（Min），在神经渲染中影响力却很弱。研究人员分析了可能的原因，包括非顺序交互（Non-sequential interaction）、缓慢的时间恢复（Slow temporal recovery）不足以及动作-反馈一致性（Action-feedback congruency）的影响，这些因素使得局部质量劣化在自由导航的沉浸式环境中感知影响减弱。此外，研究还指出所提出的多视图统计聚合框架有潜力扩展到相关的沉浸式媒体应用，如360度图像和点云的质量评估。

VII. CONCLUSION

研究结论强调，均值是神经渲染中整体感知质量的有效单一预测指标，但最大值和标准差能捕捉感知变化的额外方面，对其形成补充。通过识别能够可靠近似用户感知质量的统计度量，系统设计者可以针对头戴式显示器、全景投影和自由视点视频等应用优化渲染管线，从而确保沉浸式体验中更高的舒适度和临场感（Presence）。这项工作为神经渲染的质量体验（Quality of Experience, QoE）评估建立了一个更全面、更可靠的统计框架。