基于残差强化学习与失败经验缓冲的智能控制策略优化研究

《IEEE Open Journal of the Computer Society》：Residual Reinforcement Learning Enhanced with Unsuccessful Episode Buffer

　　本文针对强化学习(RL)智能体在复杂控制任务中面对边缘场景时性能下降的问题，提出了一种两阶段残差学习框架。研究人员通过引入失败情节缓冲(UEB)存储基础策略失败案例，并训练次级网络(π2和Q2)对基础策略进行行为修正。在9个机器人/车辆控制环境的测试表明，该方法使成功率提升3-8%且保持控制质量，为RL系统在安全关键领域的应用提供了新思路。

　　

在自动驾驶和机器人技术快速发展的今天，强化学习(Reinforcement Learning, RL)已成为解决复杂控制问题的利器。这些智能体能够在模拟环境中学会高超的运动技能和决策能力，甚至在围棋、电子游戏等领域超越人类水平。然而当这些算法走出实验室，面对真实世界的不可预测性时，往往会在某些边缘场景中"失灵"——可能是遇到训练数据中罕见的障碍物布局，需要极高精度的操控动作，或者是处于智能体已有经验的边界地带。这种局限性严重制约了RL在安全关键领域（如自动驾驶汽车、工业机器人）的实际应用。

传统的解决方案如精细设计奖励函数或对预训练模型进行微调(fine-tuning)，往往面临两难困境：过于谨慎的奖励设计会导致学习效率低下，而直接微调则可能引发灾难性遗忘(catastrophic forgetting)，即智能体在学习新知识时丢失原有技能。正是在这样的背景下，布达佩斯技术与经济大学的研究团队在《IEEE Open Journal of the Computer Society》上发表了一项创新研究，提出了一种结合残差学习和失败经验缓冲的新型学习框架，让智能体能够"吃一堑长一智"，在不破坏原有能力的基础上专门提升薄弱环节的表现。

研究团队设计的两阶段框架巧妙解决了知识保留与性能提升的矛盾。第一阶段采用标准RL训练（如近端策略优化PPO）获得基础策略π₁；第二阶段引入失败情节缓冲(Unsuccessful Episode Buffer, UEB)存储基础策略的失败案例，并添加次级网络π₂和Q₂。关键创新在于：次级网络以基础网络的输出（策略logits z_t^π₁和价值估计v_t^Q₁）为输入，在保持基础网络参数冻结的前提下进行训练，确保原有知识不丢失。训练时50%样本来自UEB，针对性提升困难场景处理能力。

关键技术方法

研究采用PPO算法为基础框架，使用三层MLP网络（每层256神经元）作为策略和价值网络。通过10000轮评估收集基础策略失败案例构建UEB，次级网络采用两层MLP结构。实验涵盖9种控制环境（5种机器人+4种车辆控制），包含离散/连续动作空间，验证方法普适性。对比基线包括标准PPO、微调(FT)、残差策略学习(RPL)和TD3算法。

主要研究结果

收敛行为分析

如图所示，该方法在8/9环境中实现最快收敛和最高平均奖励。次级网络通过利用基础策略的logits信息，比从头训练的RPL方法收敛更快；同时避免微调引发的性能波动，在动态差分机器人等复杂环境中优势明显。

最终性能评估

如表1所示，该方法在成功率指标上全面提升（3-8%），在CarEnv Racing等环境中达到99%成功率。同时保持或提升了控制质量，在MuJoCo环境中动作平滑度、车辆控制中轨迹精度均优于基线。失败案例复盘显示智能体学会了更精细的避障策略和边界条件处理能力。

跨算法泛化能力

在TD3算法上的实验表明，该框架可迁移至异策略(off-policy)算法，在连续控制任务中均取得稳定提升，验证了方法对不同RL范式的适应性。

研究结论与意义

该研究提出的残差强化学习框架通过失败经验缓冲和双网络架构，实现了智能体性能的针对性提升而不损害原有能力。实验证明该方法在多种控制任务中均能提高成功率（最高达99%）和控制质量，且计算开销仅增加3-4%。其核心价值在于提供了一种安全高效的RL改进路径，特别适用于需要高可靠性的实际应用场景。未来方向包括多级残差学习框架和模型蒸馏等优化，进一步推动RL在现实世界的落地应用。