特征归一化防止了非对比学习动态的崩溃

《Neural Computation》：Feature Normalization Prevents Collapse of Noncontrastive Learning Dynamics

　　本研究分析对比学习与非对比学习方法中表示坍缩的机理，发现特征归一化对维持动力学稳定至关重要。通过将L2损失改为考虑特征归一化的余弦损失，动力学阶数从三阶提升至六阶，即使在初始参数导致坍缩的情况下，也能动态形成稳定平衡点。

　　

摘要：

对比学习是一种自监督的表示学习框架，其中通过数据增强生成的两种正样本在数据表示空间中通过吸引力相互接近，而排斥力则使它们远离负样本。非对比学习方法（如BYOL和SimSiam）则摒弃了负样本，从而提高了计算效率。虽然由于缺乏排斥力，学习到的表示可能会坍缩为单个点，但Tian等人（2021年）通过学习动态分析发现，如果数据增强的强度足够大，表示可以避免坍缩。然而，他们的分析没有考虑常用的特征归一化（即在测量表示相似性之前的预处理步骤），因此在特征归一化的存在下，过强的正则化仍然可能导致动态系统崩溃，这是一种不自然的现象。因此，我们基于L2损失扩展了之前的理论，改用了涉及特征归一化的余弦损失。我们证明了余弦损失能够引发六阶动态系统（而L2损失仅引发三阶动态系统），即使在初始参数设定下只有坍缩解的情况下，也能动态地出现稳定平衡。因此，我们提出了一个新的观点：特征归一化在防止动态系统崩溃方面起着重要作用。