通过高斯语义散射技术实现敏捷、可靠且高效通信的元宇宙3D重建

《IEEE Transactions on Mobile Computing》：Agile, Reliable and Communication-Efficient Metaverse 3D Reconstruction Via Gaussian Semantic Splatting

　　3D重建在元宇宙中至关重要，但高干扰无线环境（HIWE）导致的图像畸变影响重建精度。本文提出GSS方案，通过语义通信编码器/解码器（SCED）与可靠高效语义通信算法（RESC）实现近完美图像恢复，结合敏捷高斯渲染算法（AGSR）和语义控制单元（SCU），在800×800分辨率下实现145FPS实时渲染，内存开销降低12倍以上。

　　

摘要：

3D重建是构建元宇宙中沉浸式数字体验的基石。由于高精度场景表示和高效渲染技术，高斯散布（Gaussian Splatting，简称GS）已成为3D重建领域的重要研究方向。然而，GS的输入图像往往存在缺陷，因为在高度干扰的无线环境（Highly Interfered Wireless Environment，简称HIWE）中收集的图像容易发生畸变，这会降低3D重建的准确性并限制其可扩展性。本文提出了一种新颖的高斯语义散布（Gaussian Semantic Splatting，简称GSS）方案，旨在实现元宇宙中灵活、可靠且通信效率高的3D重建。具体而言，GSS中的语义通信编码器/解码器（Semantic Communication Encoder/Decoder，简称SCED）使用所提出的可靠高效语义通信（Reliable and Efficient Semantic Communication，简称RESC）算法进行顺序语义编码和信道编码，使接收端能够以近乎完美的精度恢复图像。这些图像随后由内存高效的高斯渲染器（Memory-Efficient Gaussian Renderer，简称MEGR）处理，该渲染器采用灵活的高斯散布渲染（Agile Gaussian Splatting Rendering，简称AGSR）算法完成3D重建并生成一系列新的视图图像。此外，还设计了一个语义控制单元（Semantic Control Unit，简称SCU）来协调整个系统，进一步提升3D重建过程的效率。实验结果表明，GSS在HIWE环境下实现了具有竞争力的3D重建质量，渲染速度可达145帧每秒（FPS），分辨率为800×800像素，同时将存储内存开销降低了12倍以上，优于现有的最先进技术（State-of-the-Art，简称SOTA）方案。