最优控制理论神经优化器：从反向传播到动态规划

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Optimal Control Theoretic Neural Optimizer: From Backpropagation to Dynamic Programming

　　深度神经网络优化与最优控制理论的结合，提出基于动态规划的Backpropagation改进算法OCNOpt，实现高阶贝尔曼方程优化，在鲁棒性和效率上优于现有方法，支持分层反馈策略和神经ODEs的高阶训练。

　　

摘要：

深度神经网络（DNNs）的优化推动了现代人工智能的进步。由于DNNs具有长时间的非线性传播过程，因此根据目标确定其最优参数自然属于最优控制编程的范畴。将DNNs视为动态系统的这种理解，在从数值方程到物理学的原理性分析中起到了关键作用。与这些理论研究并行的是，本文侧重于算法层面。我们发现一个有趣的算法相似性：DNNs中用于计算梯度的反向传播（Backpropagation）算法与动态系统的最优性条件之间存在相似之处，后者通过另一种称为动态规划（dynamic programming）的逆向过程来表达。通过建立这种联系——即反向传播具有变分结构，并求解一阶展开的近似动态规划问题——可以开发出一类新的优化方法，用于探索贝尔曼方程（Bellman equation）的高阶展开。由此产生的优化器“最优控制理论神经优化器”（Optimal Control Theoretic Neural Optimizer，简称OCNOpt）为多种算法应用提供了可能性，包括逐层反馈策略、博弈论应用以及连续时间模型（如神经常微分方程，Neural ODEs）的高阶训练。大量实验表明，OCNOpt在鲁棒性和效率方面优于现有方法，同时保持了可控的计算复杂度，为基于动态系统和最优控制理论的原则性算法设计开辟了新的途径。