基于强化学习的盐水电化学氧化过程中活性氯物种智能控制研究

《npj Clean Water》：Smart control of oxychlorine species using reinforcement learning in saline electrochemical oxidation

　　本研究针对高盐废水电化学氧化(EO)过程中有毒副产物氯酸盐(ClO3-)和高氯酸盐(ClO4-)生成控制难题，开发了机器学习(ML)与强化学习(RL)协同的智能控制框架。研究人员通过比较多层感知器(MLP)、高斯过程回归(GPR)、分类提升(CatBoost)和TabNet四种算法，确立了MLP为最优预测模型(R2=0.775)，并结合SHAP可解释性分析揭示了电极材料与运行时间的非线性主导作用。最终通过软演员评论家(SAC)算法实现了能耗优化与有毒副产物协同抑制，为下一代水处理技术提供了自适应控制新范式。

　　

随着全球能源需求增长与环境污染加剧，水资源短缺已成为人类面临的重大挑战。特别是在淡水资源日益枯竭的背景下，海水和苦咸水处理技术的重要性凸显。电化学氧化(EO)技术因其对高盐废水中难降解有机物的高效处理能力而备受关注，然而该技术在实际应用过程中存在一个棘手问题：在宽阳极电位窗口下，进水中的氯离子(Cl^-)会被意外氧化生成具有化学持久性的氯酸盐(ClO₃^-)和高氯酸盐(ClO₄^-)。美国环保署(EPA)已将这两种物质的饮用水限值分别设定为210 ppb和15 ppb，因此开发能够抑制含氧氯副产物形成的技术已成为当务之急。

传统研究虽然揭示了电极材料选择、电流密度控制、初始电解质组成等关键因素的影响，但这些方法难以定量捕捉多变量间的复杂相互作用。正是在这一背景下，成均馆大学和蔚山国家科学技术研究院的研究团队独辟蹊径，将人工智能技术引入水处理领域，开发了一套数据驱动的智能控制框架。该研究发表于《npj Clean Water》，为高盐废水处理提供了创新性解决方案。

研究团队采用机器学习(ML)与强化学习(RL)相结合的技术路线，首先从已发表的EO系统研究中收集了1200个样本数据，涵盖运行时间、初始化学物质浓度、电解质组成、电流密度、初始pH值以及电极材料等多种参数。通过贝叶斯优化和十折交叉验证，系统比较了四种ML模型的表现，最终确定多层感知器(MLP)在预测ClO₄^-浓度方面表现最优(R²=0.836)。随后利用SHAP可解释性分析量化了各变量对副产物生成的贡献度，并基于软演员评论家(SAC)算法构建了强化学习控制框架，将运行时间和电流密度作为动作变量，以ClO₃^-和ClO₄^-浓度最小化为目标函数进行优化。

EO过程与数据集相关性

电化学氧化过程通过阳极表面的直接氧化和电解质中活性氧化物种的间接氧化两种途径去除污染物。研究通过Spearman秩相关分析发现，运行时间与ClO₄^-浓度呈现最强正相关(0.51)，而初始氯离子浓度与BDD阳极存在、电流密度分别呈现0.47和0.64的正相关。这些发现表明氯离子可用性通过次氯酸(HOCl)产生促进NH₄⁺清除和氯胺形成，同时电流密度和电极材料选择强烈影响氧化物种的生成。

ML模型性能评估

在预测ClO₃^-浓度时，四种模型在训练、验证和测试数据集上均达到0.93以上的R²值，表现出稳定的预测性能。而对于ClO₄^-浓度预测，MLP模型在测试集上保持最高性能(R²=0.836)，显著优于其他模型。十折交叉验证结果显示，MLP模型在ClO₄^-预测中实现了最低的误差值(MSE:1.822±0.464，MAE:0.183±0.022，RMSE:1.340±0.172)，表明其能够有效学习关键变量间的非线性相互作用。

SHAP结果比较与分析

SHAP分析显示，对于ClO₃^-生成，运行时间贡献度最高(平均绝对SHAP值0.279)，初始氯离子浓度次之(0.260)。有机碳和NH₄⁺浓度则呈现抑制作用，因其会消耗氧化剂而减少ClO₃^-生成所需活性物种。对于ClO₄^-，运行时间仍是主导因素(0.246)，BDD阳极因其强氧化电位而成为第二重要因素。有趣的是，氯离子浓度在高水平时对ClO₄^-的影响较弱，表明ClO₄^-形成遵循不同于ClO₃^-的附加机制。

基于ML的模拟优化

二维模拟聚焦于运行时间、电流密度、初始氯离子、NH₄⁺和有机碳浓度五个关键变量。结果显示，低NH₄⁺浓度和高电流密度促进ClO₃^-和ClO₄^-形成；长运行时间和低有机碳浓度导致副产物浓度升高。特别值得注意的是，即使痕量有机碳也足以通过消耗氧化物种显著抑制副产物形成。

用于EO系统优化的RL模型

在模拟藻华发生的苦咸水和海水条件下，研究比较了近端策略优化(PPO)、软演员评论家(SAC)和优势演员评论家(A2C)三种强化学习算法。SAC表现出两阶段学习模式，最终收敛于约130的总奖励值，而被认为是最适合推导最优运行条件的算法。在海水污染场景中，电流密度对ClO₃^-和ClO₄^-形成的影响比运行时间更大，而A2C则表现出选择极端行动值的倾向。

讨论与结论

本研究通过数据驱动的集成预测控制框架，成功抑制了高盐度和难降解有机污染物废水中含氧氯副产物的形成。MLP模型在预测精度和泛化能力方面均表现最佳，而SHAP分析揭示了电极材料和运行时间的非线性主导作用。基于SAC的强化学习算法最终实现了能耗降低与副产物浓度维持在未来监管标准以下的双重目标。

该研究的创新之处在于首次将机器学习与强化学习深度融合应用于电化学水处理过程优化，建立了能够适应不同进水特性和系统条件的自适应运行策略。这不仅为EO系统设计提供了新思路，也为复杂水处理过程的智能控制树立了典范，对推动下一代水处理技术的发展具有重要意义。值得注意的是，该研究在合成条件下阐明了基本机制并建立了模型，为未来扩展到真实水系统奠定了重要基础。