ReLU函数的最优条件数

《IEEE Transactions on Information Theory》：The Optimal Condition Number for ReLU Function

　　ReLU激活函数的稳定性性质研究。定义了权重矩阵A和偏置向量b的条件数κA,b为上界Lipschitz常数UA,b与下界LA,b的比值。证明κA,b≥√2，且当权重随机高斯初始化、偏置为零时，条件数渐近趋近于下界。为理解神经网络随机初始化行为提供理论依据。

　　

摘要：

ReLU是深度神经网络中广泛使用的一种激活函数。本文研究了ReLU映射的稳定性特性。对于任意权重矩阵A ∈ Rm×n和偏置向量b ∈ Rm（位于某一层），我们定义条件数为κA,b = UA,b/LA,b，其中UA,b和LA,b分别表示上Lipschitz常数和下Lipschitz常数。我们首先证明了对于任意给定的A和b，条件数满足κA,b ≥ √2。此外，当某一层的网络权重被初始化为独立的随机高斯变量且偏置项被设置为零时，条件数会渐近地趋近于这个下界。我们的发现为随机初始化的神经网络的特性提供了宝贵的见解，有助于更好地理解它们的初始行为和潜在性能。