通过乔列斯基分解（Cholesky Decomposition）提升在SPD流形上的图神经网络性能

《Pattern Recognition》：Enhancing Graph Neural Networks on SPD Manifolds via Cholesky Decomposition

　　提出基于对称正定矩阵流形（SPD）的图神经网络模型SPDGNN，利用Log-Cholesky度量直接在SPD流形上操作，避免频繁映射提升效率，开发专用邻居聚合和非线性模块，构建多类逻辑回归框架，实验证明在层次结构数据分类任务中优于传统欧几里得和超曲面GNN。

　　

王宇|常毅

吉林大学人工智能学院，长春，130012，中国

摘要

非欧几里得几何在模拟复杂结构数据方面已被证明是有效的，尤其是在处理树状和层次结构的数据时。虽然双曲图神经网络（GNN）在各个领域都取得了成功，但将GNN适应到矩阵流形上的研究仍然有限。大多数先前的努力都集中在将欧几里得GNN的模块转移到非欧几里得空间上。然而，这些尝试尚未在对称正定（SPD）流形上完全开发出一个全面的GNN架构，而SPD流形提供了一个包含欧几里得和双曲投影子空间的丰富几何结构。一个主要挑战是缺乏在SPD流形上明确定义的、封闭形式的模块，包括邻域聚合层、非线性函数和几何分类器。为了解决这些问题，我们提出了SPDGNN，这是一种基于SPD流形的Log-Cholesky度量的新型GNN模型。SPDGNN引入了两个基础模块，在SPD流形中建立了邻域聚合和非线性函数。此外，我们还在SPD流形中开发了一个多类逻辑回归框架，该框架能够有效拟合训练数据并增强几何泛化能力。实验结果表明，与欧几里得和双曲GNN相比，SPDGNN为层次结构提供了更好的表示，从而在分类任务中显著提高了性能。

引言

图神经网络（GNN）已成为学习和表示结构化数据的强大工具。这些网络利用图结构中固有的连接信息来执行各种任务，包括节点分类[1]、链接预测[2]和图分类[3]。传统上，GNN在欧几里得空间中运行，这对于具有复杂、层次或树状结构的数据来说往往不是最优的[4]。最近的进展探索了非欧几里得空间，特别是双曲空间，以更有效地捕捉潜在的几何结构。双曲神经网络在推荐系统和知识图嵌入等应用中显示出潜力[2]、[5]。

尽管在双曲空间方面取得了进展，但在其他非欧几里得空间（如矩阵流形）上开发GNN架构方面仍存在显著差距。其中，对称正定（SPD）流形因其包含欧几里得和双曲子空间的丰富几何结构而脱颖而出[6]、[7]、[8]。从几何分解的角度来看，SPD可以通过整合欧几里得和双曲几何结构来有效近似，如图1所示。SPD流形在模拟协方差矩阵方面特别有利，这在计算机视觉[7]和神经科学[9]等多个领域中非常普遍。然而，将GNN扩展到SPD流形的现有尝试在三个关键方面仍然有限。首先，大多数先前的工作依赖于切空间近似，这需要频繁的对数和指数映射，从而导致高计算成本和在大规模图上的训练效率低下。其次，SPD流形与其切空间之间的重复映射操作不可避免地会累积数值误差，导致几何失真和模型性能下降。第三，这些失真通常会导致优化行为不稳定并阻碍收敛。

为了解决这些问题，我们提出了基于Log–Cholesky度量的SPDGNN[10]。我们的方法建立了两个封闭形式的模块——邻域聚合和非线性激活函数——它们直接在SPD空间中运行，从而避免了重复的对数/指数映射，并显著降低了计算开销。此外，Log–Cholesky中的三角参数化保证了数值稳定性并防止了误差累积。这些特性共同使得SPDGNN能够实现高效和稳定的训练，为现有的切空间或欧几里得适应提供了一种原理性的替代方案。此外，我们还提出了一个适应SPD流形的多类逻辑回归框架，增强了模型对层次结构的泛化和分类能力。实验评估表明，SPDGNN在分类任务中的表现优于传统的欧几里得GNN和双曲GNN，特别是在涉及层次数据的情况下。这些结果突显了SPD流形在捕捉现实世界数据复杂几何结构方面的潜力，为未来非欧几里得GNN架构的研究铺平了道路。

我们的主要贡献总结如下：

1. 基于SPD流形的新型GNN架构：我们提出了SPDGNN，这是第一个完全在SPD流形上使用Log-Cholesky度量运行的全面GNN模型。
2. 针对SPD流形的基础模块：我们为SPD流形开发和实现了邻域聚合和非线性函数，填补了现有研究中的重要空白。
3. 几何分类器：我们在SPD流形中引入了一个多类逻辑回归框架，提高了模型的分类性能和几何泛化能力。
4. 实证验证
   ：我们在标准节点和图分类任务的实验中实证展示了SPDGNN的性能潜力。

章节片段

2.1 图神经网络

图神经网络扩展了深度神经网络处理图数据的能力[11]。[12]通过引入GCN做出了开创性贡献，使得可以通过图结构上的迭代特征传播来学习节点表示。在此开创性工作之后，提出了许多用于不同任务的GNN方法，包括节点分类[13]、[14]、链接预测[15]和图分类[3]。然而，这些方法通常

初步介绍

我们介绍了与图卷积神经网络和带有Log-Cholesky度量的SPD流形相关的概念。

方法论

我们的目标是创建一个能够有效且高效地利用SPD流形几何优势的GNN模型，通过使用Log-Cholesky度量来实现这一目标。为此，我们将欧几里得GNN组件扩展到SPD流形，提供可以直接整合到现有基础架构中的替代方案。首先，我们将介绍邻域聚合和非线性激活算法。然后，我们将在SPD上开发一个多类逻辑回归层

实验

在本节中，我们在各种真实世界图上进行了实验，以评估所提出的SPDGNN在半监督节点分类和图分类任务中的有效性。我们系统地将SPDGNN的性能与欧几里得、双曲和SPD空间中的几个基线进行了比较。此外，我们还利用节点嵌入和类超平面的可视化来研究SPDGNN在模拟欧几里得和双曲结构方面的表达能力

结论

在本文中，我们介绍了SPDGNN，这是一种为对称正定（SPD）流形设计的新型图神经网络（GNN）架构。通过利用Log–Cholesky度量，我们开发了在SPD流形的几何约束下运行的邻域聚合和非线性激活函数模块。我们的方法能够准确地对复杂层次数据进行建模。实证评估表明，SPDGNN在

CRediT作者贡献声明

王宇：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，软件，方法论，研究获取，正式分析，数据整理，概念化。常毅：监督，资源，项目管理，资金获取。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了中国科学技术部（项目编号2023YFF0905400）、国家自然科学基金（项目编号U2341229）以及中国博士后科学基金会博士后奖学金计划（C级）（项目编号GZC20230947）的支持。