基于TD3-DQN融合算法的虚拟电厂-电动汽车协同调度优化模型及其低碳经济性研究

《Protection and Control of Modern Power Systems》：An Optimized Distribution Model for Energy System in Virtual Power Plants Integrating Electric Vehicles Based on TD3 and DQN

　　本文针对高比例新能源接入下虚拟电厂(VPP)面临的功率波动与负荷不确定性挑战，提出一种融合电动汽车(EVs)的VPP优化调度模型。研究通过构建电池健康衰减机制与DQN-mRMR特征选择方法，结合TD3算法实现多时间尺度优化调度。仿真结果表明，该模型在四组案例中平均降低运营成本39.1%，碳排放减少133.5%，同时将EV电池健康衰减率控制在0.641%，为新型电力系统提供兼顾经济性与低碳性的解决方案。

　　

随着能源结构向低碳化加速转型，以风电、光伏为代表的新能源装机容量持续攀升，但可再生能源的强波动性也给电力系统动态平衡带来严峻挑战。传统虚拟电厂(Virtual Power Plant, VPP)在应对高比例分布式能源并网时，其双向功率流特性日益凸显，难以适应多时间尺度的功率波动与不确定性耦合效应。尤其当电动汽车(Electric Vehicles, EVs)作为柔性储能单元接入VPP时，其充电行为的时空异质性和电池健康衰减问题更增加了系统优化调度的复杂性。

针对上述问题，上海电力大学经济与管理学院的胡伟、王硕、杜浦亮团队在《Protection and Control of Modern Power Systems》发表研究，构建了融合EVs与电转气(Power-to-Gas, P2G)的VPP架构，并提出基于双延迟深度确定性策略梯度(Twin Delayed Deep Deterministic Policy Gradient, TD3)和深度Q网络(Deep Q-Network, DQN)的协同优化模型。该研究通过四组案例仿真验证表明，所提模型显著降低运营成本与碳排放水平，同时延缓了EV电池健康衰减进程。

关键技术方法包括：1）构建考虑电池循环衰减与能量变化深度的EV健康模型；2）采用DQN与最大相关-最小冗余(Maximum Relevance-Minimum Redundancy, mRMR)融合特征选择方法预测EV充电需求；3）利用TD3算法的双Q值截断机制和平滑正则化抑制策略高估偏差；4）基于历史风光数据和正态分布生成四组不确定性场景进行泛化性验证。

VPP-EV架构设计与数学模型

研究首先建立包含风电、光伏、微燃机(Microturbine, MT)、P2G和EV充电站的多能流VPP框架。其中EV作为双向功率单元，其电池状态(State of Charge, SOC)变化模型引入健康度(State of Health, SOH)衰减机制：

HtEVs=Ncircle,tEVs×ηcircleEVs+ηdoeEVs×(Jdoe,tEVs)2

该模型同时考虑充放电循环次数_circle和能量变化深度(Depth of Energy, DoE)的双重影响，突破传统线性SOC约束的局限性。

不确定性分析与EV需求预测

针对风光出力与居民负荷的不确定性，采用韦伯分布和贝塔分布生成概率密度函数，并基于DQN-mRMR模型筛选EV行为特征。通过将mRMR指标作为DQN的奖励函数：

ItmRMR=I(X;Y)??

实现高维特征下的非线性耦合分析，结合遗传算法优化的时序卷积网络-长短期记忆(GA-TCN-LSTM)模型，将需求预测的均方根误差降低63.0%，特征选择准确率达98.2%。

TD3优化调度策略

在调度层面，研究利用TD3算法构建状态空间S_t^TD3=(t,λ_t^price,G_t^WT,G_t^PV,L_t^Re,L_t^EVs,H_t^EVs,O_t^EVs)和动作空间A_t^TD3=(V_CH4,t^MT,V_MT,t^P2G,G_t^EVs,P_t^P2G)。通过双批评网络截断目标Q值：

qt+1?,TD3=i=1,2min{Qi,t+1?,TD3(st+1?,a^t+1?+ε;θi,t?,TD3)}

有效解决传统DDPG算法的Q值高估问题。如图8所示，TD3在超参数优化后奖励值收敛稳定性显著优于DDPG。

多场景仿真验证

在四组案例测试中，TD3-EV框架展现出显著优势：1）经济性方面（图13），EV场景较传统电池储能系统(Battery Energy Storage System, BESS)平均降低运营成本39.1%，在电价高峰时段通过V2G(Vehicle-to-Grid)实现收益最大化；2）环保性方面（表IV），Cases 1/2/4实现负碳排放，最大碳减排量达133.5%；3）电池保护方面（图10），TD3将EV健康衰减率控制在0.641%，波动标准差较DDPG降低89.0%。

结论与展望

本研究提出的VPP-EV协同调度模型通过TD3算法实现多时间尺度优化，在提升系统灵活性的同时兼顾经济性与低碳性。创新性体现在：1）建立考虑电池健康衰减的EV双向调度模型；2）设计DQN-mRMR-GA-TCN-LSTM混合预测框架；3）利用TD3算法解决连续决策空间中的策略高估问题。该研究为高比例新能源接入下的VPP优化运行提供理论支撑，未来可进一步探索基于客户负荷曲线的多时间尺度需求响应方法。