GCL-GroW：通过群组白化实现图对比学习

《Pattern Recognition》：GCL-GroW: Graph Contrastive Learning via Group Whitening

　　本文提出图对比学习框架GCL-GroW，通过组零相位组件分析（ZCA）白化和正样本一致性损失实现无负样本的图表示学习，有效解决维度坍塌问题，并在多模态数据集上验证其高效性和泛化能力。

　　本文介绍了一种新颖的图对比学习方法，名为“基于特征组白化的图对比学习”（Graph Contrastive Learning via Group Whitening，简称 GCL-GroW）。该方法旨在解决当前图神经网络（GNNs）在图结构数据学习过程中面临的关键问题，尤其是在标注数据稀缺的情况下，如何在不依赖负样本和复杂架构的前提下，提升模型的性能与效率。

图神经网络因其能够有效捕捉图结构中的关系和依赖性，已被广泛应用于图数据的分析中。它们通过节点特征和图结构的结合，学习出具有语义意义的节点表示。传统的 GNN 模型，如 GCN、SGC 和 GAT，通过邻域聚合机制不断更新节点嵌入，从而在多种图相关任务中表现出色。然而，这些模型在处理大量未标注数据时，往往难以充分利用其信息，导致性能受限。

为了解决这一问题，研究人员引入了对比学习（Contrastive Learning）作为一种自监督学习方法。对比学习通过将正样本对映射到表示空间中的邻近区域，同时将随机选择的负样本推离，从而增强模型的表示能力。尽管这种方法在许多领域取得了显著成功，但其有效性通常依赖于负样本的数量和质量。因此，许多现有对比学习方法在生成负样本时采用了复杂的增强策略，如图增强（graph augmentations），以确保表示空间中的分布更加均匀。然而，这些方法往往增加了计算和存储的负担，同时也可能导致维度塌陷（dimension collapse）问题，即多个维度冗余地编码相同的信息，影响模型的表达能力。

为了解决这些问题，本文提出了一种全新的方法 GCL-GroW，它通过引入特征组白化（ZCA group whitening）和一致性损失（consistency loss），在不依赖负样本和复杂架构的情况下，实现了对比学习中的两个核心目标：对齐（alignment）和均匀性（uniformity）。在实现对齐方面，该方法通过一致性损失确保正样本在表示空间中保持相似性，从而减少它们之间的距离，保持语义一致性。而在实现均匀性方面，该方法采用 ZCA 白化技术对正样本的特征进行处理，减少特征之间的相关性，防止所有样本表示集中于单一区域，从而提升模型的泛化能力。

ZCA 白化是一种常用的特征去相关技术，它通过调整特征矩阵，使其具有单位协方差矩阵，从而减少不同特征之间的依赖关系。然而，传统的 ZCA 白化方法通常是在整个特征空间上进行操作，这可能会导致某些特征维度的信息丢失，影响模型的整体性能。为此，GCL-GroW 采用了特征组白化的策略，即将特征维度划分为若干组，对每一组分别进行 ZCA 白化处理，然后再将处理后的特征进行拼接，形成最终的输出。这种方法不仅能够有效减少特征之间的相关性，还能保持特征维度的完整性，从而提升模型的表达能力和泛化能力。

在实验部分，本文对 GCL-GroW 进行了全面的评估。实验涵盖了多种图结构数据集，包括单模态的引用网络（如 Cora、CiteSeer、PubMed）和共购网络（如 Amazon Computer、Photo），以及多模态数据集（如 Ele-Fashion）。结果表明，GCL-GroW 在节点分类和图分类任务中均取得了良好的性能，尤其是在标注数据稀缺的极端情况下，表现尤为突出。此外，该方法在深度 GNN 中有效缓解了过平滑（over-smoothing）问题，提升了模型的稳定性。

与现有方法相比，GCL-GroW 具有以下几个显著优势。首先，它无需依赖负样本，从而降低了存储和计算的负担。其次，它避免了使用复杂的组件，如非对称网络、投影层和梯度停止等，使得模型结构更加简洁，同时保持了较高的效率。最后，它在多模态数据集上的表现也显示出较强的适应能力，表明其不仅适用于单模态任务，还能有效处理多模态数据。

为了进一步验证 GCL-GroW 的有效性，本文对多种先进的图对比学习方法进行了对比分析。结果显示，GCL-GroW 在模型结构上更为简单，同时在训练时间和内存消耗方面也表现出更低的开销。这种高效的模型设计使得其在实际应用中更具可行性，尤其是在资源受限的环境中。

此外，本文还探讨了 GCL-GroW 在不同应用场景下的表现。例如，在节点分类任务中，该方法通过确保正样本在表示空间中的相似性，从而提升分类的准确性。而在图分类任务中，它通过减少特征之间的相关性，确保所有样本在表示空间中均匀分布，从而提升分类的泛化能力。这种双重目标的实现使得 GCL-GroW 在多种图学习任务中均表现出色。

在实际应用中，GCL-GroW 的优势尤为明显。它不仅适用于单模态数据集，还能有效处理多模态数据集，表明其具有广泛的适用性。例如，在多模态数据集中，不同模态的数据可能具有不同的特征分布，而 GCL-GroW 通过特征组白化，能够有效地将不同模态的数据整合到统一的表示空间中，从而提升多模态任务的性能。

综上所述，本文提出的 GCL-GroW 方法为图对比学习提供了一种新的视角，它通过引入特征组白化和一致性损失，在不依赖负样本和复杂架构的前提下，实现了对齐和均匀性的双重目标。实验结果表明，该方法在多个图结构数据集上均取得了优异的性能，特别是在标注数据稀缺的情况下，表现出更强的适应能力。此外，GCL-GroW 在训练时间和内存消耗方面也具有明显的优势，使其成为一种高效且实用的图对比学习方法。