基于部分单调神经网络的电力系统自适应最优一次频率控制：稳定性保证的强化学习方法

《IEEE Open Access Journal of Power and Energy》：Reinforcement Learning for Stability-Guaranteed Adaptive Optimal Primary Frequency Control of Power Systems Using Partially Monotonic Neural Networks

　　本文针对高比例逆变器接入导致电力系统频率稳定性恶化的问题，提出了一种基于部分单调神经网络（Partially Monotonic Neural Networks）的强化学习自适应最优一次频率控制方法。该研究通过设计具有物理信息嵌入的双路径神经网络架构，在保证李雅普诺夫（Lyapunov）稳定性的前提下，实现了对时变惯量（Mi）和阻尼（Di）的自适应调节。仿真结果表明，该方法在IEEE-39节点系统中有效降低了频率偏差的L∞范数和频率变化率（ROCOF），且无需针对不同运行工况重新训练控制器，为高可再生能源渗透下的电网稳定运行提供了新思路。

　　

随着分布式能源（Distributed Energy Resources, DERs）的大规模并网，电力系统正经历一场深刻的变革。然而，这些以逆变器接口为主的能源（Inverter-Based Resources, IBRs）在替代传统同步发电机的同时，也带来了新的挑战——系统惯量（Inertia）下降和阻尼（Damping）特性改变，导致电网频率稳定性面临严峻考验。传统的基于下垂控制（Droop Control）的策略虽然简单可靠，但局限于线性反馈，难以充分发挥逆变器的快速调节潜力，甚至在复杂工况下可能引发系统失稳。因此，开发既能保证稳定性、又能自适应系统参数变化的新型非线性控制算法，已成为智能电网领域亟待解决的关键问题。

为了应对这一挑战，研究人员将目光投向了强化学习（Reinforcement Learning, RL）。强化学习以其模型无关和数据驱动的特性，在解决复杂系统优化控制问题上展现出巨大潜力。然而，传统的强化学习如同一个“黑箱”，缺乏严格的安全保证，将其直接应用于关乎电网安全的频率控制存在风险。为此，融合李雅普诺夫（Lyapunov）稳定性理论的强化学习框架应运而生，旨在为学习到的控制策略提供稳定性“证书”。但现有方法大多针对固定的系统参数进行训练，当实际电网的惯量和阻尼随时间变化时，控制器性能会显著下降。这就引出了一个核心问题：能否设计一个控制器，它既是全局最优的，又能自适应系统参数的动态变化，同时还能通过严格的数学理论保证其稳定性？

发表在《IEEE Open Access Journal of Power and Energy》上的这项研究，给出了肯定的答案。研究团队提出了一种创新的自适应神经李雅普诺夫控制框架，其核心在于巧妙地利用了部分单调神经网络。

该研究主要采用了几个关键技术方法：首先，构建了基于电力系统摇摆方程（Swing Equation）的非线性动态模型作为强化学习的环境。其次，设计了部分单调神经网络作为控制器架构，该网络包含单调路径和非单调路径，分别处理频率偏差以及惯量和阻尼参数，通过权重约束（如对频率输入权重取绝对值）确保控制器输出关于频率偏差的单调性，从而满足李雅普诺夫稳定性条件。第三，针对阻尼和惯量变化的不同物理特性，融入了物理信息引导的适应性层设计（如对阻尼使用ReLU函数，对惯量使用S型函数）。第四，采用四阶龙格-库塔（Runge-Kutta）法进行动力学离散化，以提高训练精度。最后，利用强化学习（具体为基于梯度的策略优化）在IEEE-39节点测试系统生成的批量轨迹上对控制器参数进行离线训练，以最小化包含频率偏差、频率变化率和控制成本的综合目标函数。

A. SIMULATION SETUP

研究人员在标准的IEEE-39节点新英格兰测试系统上进行了仿真验证。假设系统中70%的负荷由同步发电机提供，30%由并网逆变器提供，以此模拟高比例可再生能源接入场景。通过生成800批持续2秒的随机阶跃负荷扰动轨迹，对提出的部分单调神经网络控制器进行了200轮次的训练，以确保收敛。

B. STABILITY AND PERFORMANCE ANALYSIS

稳定性分析表明，所提出的控制器能有效维持系统同步。在母线30-34处施加阶跃负荷扰动后，各母线相对相角最终收敛，最大相角差远小于同步稳定性极限（π/2），频率偏差也迅速衰减，最大偏差低于0.02 Hz。

性能对比显示，相较于线性二次调节器（LQR）、线性下垂控制以及基础的李雅普诺夫控制（使用欧拉离散法），新提出的控制器（使用龙格-库塔离散法）在多种扰动水平下均能实现更低的综合损失（包含频率L_∞范数、频率变化率L_∞范数和控制作用L₂范数）。特别是在非线性较强的中等程度扰动下，优势更为明显，这得益于龙格-库塔法更精确的离散化。

控制器的输出功率变化曲线表明，其L₂范数被有效最小化，响应迅速且在约1.5秒内收敛，同时考虑了扰动位置和逆变器限幅的影响。

C. ADAPTIVE CONTROL RESULTS

自适应性能验证是本研究的关键。通过分别将系统中某母线的惯量和阻尼降低15%、30%和45%，观察系统最大频率偏差。结果显示，非自适应李雅普诺夫控制器的性能随着参数变化而恶化，出现更高的超调和振荡；而新提出的自适应控制器则表现稳健，最大频率偏差显著降低，证明了其应对参数不确定性的能力。

进一步分析损失函数对全网惯量和阻尼变化的敏感性发现，自适应控制器的性能损失随参数变化增长缓慢，尤其在较小变化范围内几乎保持不变；而非自适应控制器的性能损失则持续快速上升。损失与阻尼变化呈近似线性关系，与惯量变化则呈非线性关系，这反映了系统动态对不同参数变化的响应差异。

本研究成功地将部分单调神经网络与李雅普诺夫稳定性理论、强化学习相结合，为解决高比例新能源电力系统的一次频率控制问题提供了一种新颖且有效的解决方案。其重要意义在于：第一，通过部分单调性的结构设计，从根本上保证了控制器的稳定性，解决了强化学习在安全关键场景应用的瓶颈问题。第二，提出的物理信息嵌入自适应层，使控制器能智能响应惯量和阻尼的动态变化，实现了“一次训练，多处适用”，避免了传统方法需要针对不同工况重新训练的繁琐和成本。第三，所采用的龙格-库塔离散化方法提升了模型精度，从而改善了控制性能。仿真结果充分验证了该框架在维持系统同步、最小化频率偏差和适应参数变化方面的优越性。尽管该研究在拓扑变化适应性等方面仍有进一步探索的空间，例如考虑不同母线间惯量和阻尼变化的相互影响，以及时变虚拟惯量下的李雅普诺夫函数设计等，但其开创性的思路为构建更智能、更鲁棒、更安全的未来电网控制系统奠定了坚实的基础。这项工作标志着在电力系统控制领域，数据驱动的智能方法与严谨的物理模型保证正走向更深层次的融合。