梯度网络

《IEEE Transactions on Signal Processing》：Gradient Networks

　　直接参数化并学习函数的梯度在逆问题、生成建模和最优运输中具有重要应用。本文提出梯度网络（GradNets），通过专用架构约束实现各类函数梯度的参数化学习，并给出转化为单调梯度网络（mGradNets）的方法，确保其能表示凸函数的梯度。理论分析证明该网络可逼近任意（凸）函数的梯度，并设计了GradNet-C和GradNet-M两种架构，实验表明其在梯度场任务和哈密顿动力学任务中相比现有方法分别提升15dB和11dB的优越性。

　　

摘要：

直接对函数梯度进行参数化并学习这些梯度具有广泛的意义，具体应用包括逆问题、生成建模和最优传输等领域。本文介绍了梯度网络（GradNets）：这是一种新型的神经网络架构，能够对各类函数的梯度进行参数化。GradNets具有特殊的架构约束，确保其与梯度函数相匹配。我们提供了一个全面的GradNet设计框架，其中包括将GradNets转换为单调梯度网络（mGradNets）的方法，这类网络能够保证表示凸函数的梯度。我们的研究结果表明，所提出的GradNet（以及mGradNet）能够通用地逼近（凸）函数的梯度。此外，这些网络可以针对特定的潜在函数空间进行定制，包括（凸）脊函数的变换和组合。我们的分析衍生出两种不同的GradNet架构：GradNet-C和GradNet-M，并描述了相应的单调版本mGradNet-C和mGradNet-M。实证结果表明，这些架构在梯度场任务中的参数化效率更高，在哈密顿动力学学习任务中的性能优于现有方法，最大提升幅度可达15分贝。

引言

深度神经网络因其能够参数化并轻松学习复杂的高维函数而备受重视。研究人员投入了大量精力开发深度神经网络，使其在计算机视觉[1]、自然语言处理[2]和强化学习[3]等众多任务中达到最先进的性能水平。这些神经网络通常是无约束的，能够有效参数化所有函数的空间。然而，许多应用需要具有特定属性的学习函数，这就需要设计针对特定函数类别的神经网络——而这个问题很少被研究过。将神经网络限制在某个特定的函数类别中不仅提高了模型的可解释性，还为在安全关键应用中部署训练好的模型提供了必要的理论性能保障。