基于GAN数据增强与梯度提升模型的废水暗发酵产氢预测及过程优化研究

《npj Clean Water》：Augmented machine learning with limited data for hydrogen yield prediction in wastewater dark fermentation

　　本研究针对废水暗发酵产氢预测中样本量有限、数据分布偏斜导致模型不稳定的问题，开发了一种GAN启发的数据增强策略，将210个原始样本扩展至1050个合成样本，显著提升了数据分布的正态性和覆盖范围。通过系统评估九种机器学习算法，研究发现基于直方图的梯度提升（HGB）模型在测试集上表现最佳（R2≈0.95；RMSE<0.06；MAE<0.05）。SHAP和累积局部效应（ALE）分析揭示了丁酸盐、生物量和镍对氢产率的正向影响，而高COD、乙醇和较长水力停留时间（HRT）则产生抑制作用。二维ALE进一步确定了暗发酵的最佳操作条件（Fe/Ni比≈1:3；HRT为4-5小时；pH≈4.9；COD<25 g L-1）。研究还开发了集成HGB模型的Python图形用户界面（GUI），为氢产率预测和过程诊断提供了实用工具。该研究为有限数据条件下的生物氢生产提供了高精度预测和可解释的过程控制框架，推动了废水资源化利用的智能化发展。

　　

随着传统能源的逐渐枯竭和环境污染问题的日益严峻，寻找清洁可再生的化石燃料替代品已成为全球关注的焦点。在众多替代能源中，氢能因其高热值（约120 MJ kg^-1，是典型液态烃的2.7-2.8倍）和燃烧产物仅为水的特性展现出巨大潜力。然而，目前超过95%的商业氢能仍通过蒸汽重整或煤气化等能源密集型工艺生产，每生产1公斤氢气会排放9-12公斤二氧化碳。相比之下，生物制氢技术提供了一条潜在的低碳可持续路径。其中，暗发酵（Dark Fermentation）因其投资成本低、操作简单且能够利用废弃生物质而被视为从废水中生产氢气的最具吸引力的生物技术途径之一。

暗发酵过程性能受pH、温度、底物组成、反应器配置、水力停留时间（HRT）、化学需氧量（COD）和代谢副产物等多种操作变量复杂相互作用的影响。然而，传统批次实验成本高、周期长（通常需要数周或数月），且劳动强度大，限制了对这些关系的深入理解。因此，开发能够从有限数据中学习并避免过拟合，同时量化关键变量个体和联合效应的预测工具至关重要。

近年来，机器学习（ML）方法已被应用于模拟废水发酵产氢。例如，Ahmad等人使用四种回归模型预测暗发酵产氢，其中支持向量回归（SVR）模型在测试集上达到了0.734的R²值。Atieh等人应用五种分类算法，CatBoost模型取得了0.87的测试集R²。Huan等人探索了三种深度学习架构来预测光发酵产氢，LSTM-Attention模型最为有效，最佳测试集R²达到0.85。尽管已有研究取得了一定进展，但当前仍面临数据集小（通常少于300个实验数据点）、易过拟合、建模方法相对单一以及关键因素（如微量元素、生物量、pH、COD、HRT、挥发性脂肪酸）间复杂相互关系尚未彻底研究等挑战。

生成对抗网络（GANs）作为一种能够通过对抗训练合成逼真表格数据的深度学习模型，为增强稀疏数据集提供了有前景的方法。针对上述不足，本研究旨在解决以下研究问题：GAN启发的数据增强策略，结合系统模型基准测试和模型解释，能否在有限数据条件下提供可靠的H₂产率预测，并阐明关键过程变量的作用和相互作用？为此，本研究设定了四个目标：(i) 实施创新的GAN启发策略，为废水暗发酵产氢创建合成数据集并评估其相对于原始数据的保真度；(ii) 对九种不同的ML算法进行基准测试，确定最可靠的H₂产率预测模型；(iii) 使用累积局部效应（ALE）图研究关键过程变量如何影响氢生产率；(iv) 开发一个基于Python的图形用户界面（GUI），嵌入所选模型，以便快速、用户友好地估算氢产率。

本研究采用了一种四阶段的GAN启发自举流程来生成合成数据。流程包括候选向量生成、物理范围验证、预测可靠性筛选以及混合训练和加权。最终训练矩阵结合了真实的N_real行和1050个合成行，并为合成条目设置了较低的样本权重（0.5）以降低其较高的认知不确定性。研究系统评估了九种ML算法，包括支持向量回归（SVR）、随机森林（RF）、直方图梯度提升（HGB）、XGBoost（XGB）、CatBoost（CB）、LightGBM（LGB）、高斯过程回归（GPR）、核岭回归（KRR）和多层感知器（MLP）。模型性能通过决定系数（R²）、均方根误差（RMSE）、平均绝对误差（MAE）和平均绝对百分比误差（MAPE）进行评估，并采用5折交叉验证重复50次（共250折）来验证模型鲁棒性。模型解释方面，采用了SHapley Additive exPlanations（SHAP）进行特征重要性量化，并使用累积局部效应（ALE）图来探究特征-响应关系，避免了传统部分依赖图（PDPs）的局限性。

合成数据集与原始数据集的统计一致性验证

通过小提琴图对比关键变量的统计特征，发现合成数据与原始实验观测值的内核密度估计和中位数标记几乎完全重合，表明合成数据忠实地再现了原始数据的位置和离散度。例如，Fe和Ni的浓度模式（一个在10-20 mg L^-1，另一个在更高浓度）被准确保留，乙酸和丁酸盐的轻度狭窄四分位距也保持完整。原始发酵数据表现出明显的不对称性和厚尾性（|偏度|=1.94-4.53；峰度高达21.10），显著偏离正态性假设。相比之下，GAN启发的输出将偏度和峰度都压缩到±1以内，产生了近对称的“准正态”分布。Q-Q图显示，原始数据与45°参考线存在显著偏离，而合成数据则紧密贴合对角线，表明生成模型成功正则化了分布不规则性并减少了异常值的影响。

机器学习结果

与原始数据集相比，大多数模型在合成数据上评估时，R²显著增加，RMSE和MAE大幅降低，MAPE也明显下降，表明合成数据集有助于提高预测准确性。这种改进源于两个机制：合成记录填充了输入空间中稀疏采样的区域，并注入了极端或边界观测值，为模型提供了更全面的底层分布表示；增强过程有效“平滑”了实验噪声，产生了更稳定的学习环境。在九种算法中，基于梯度提升框架的四种树模型（HGB、XGB、CB、LGB）在两个数据集上 consistently 优于其他模型。在合成测试集下，这些模型的R²值接近或超过0.95，RMSE和MAE显著低于其余模型，且MAPE最低，表现出卓越的整体性能。

对偶图叠加95%预测带和颜色标度的残差条进一步证实，梯度提升家族模型（HGB、XGB、CB、LGB）的数据点紧密聚集在1:1参考线周围，预测带仅略宽于线本身，且残差均匀小，表现出同方差行为。而基于核的回归器（SVR、GPR、KRR）则显示出更宽的预测带和更高密度的红/蓝点，表明存在较大的正负偏差。

通过50次重复的5折交叉验证的箱线图评估，HGB模型成为最准确和最稳定的学习器：测试集R²中位数接近0.95，对应的RMSE（<0.06）和MAE（<0.05）中位数最低且四分位距最窄，训练和测试统计量之间的微小差距证明了其卓越的泛化能力。因此，HGB被选为本数据集的最优算法。

模型解释

使用平均绝对SHAP值量化全局特征重要性，显示丁酸盐具有最高的全局重要性（mean|SHAP|=0.16），约为生物量（0.10）的1.6倍，占所有特征总重要性的约26%。蜂群图中，许多高丁酸盐点位于正SHAP区域，表明向丁酸盐主导的发酵途径转变显著提高了模型的氢预测值。生物量和Ni的重要性紧随其后，且其正向效应存在机制关联：高生物量浓度通过提供更多酶促机器来增加系统的整体催化能力，而镍是这些微生物细胞合成的[NiFe]氢化酶的关键辅因子，该酶催化H₂释放的最后一步。因此，两者关系是协同的。相反，高COD和乙醇浓度主要位于负SHAP区域，表明底物过载或溶剂化代谢抑制了净氢输出；过长的HRT也表现出类似的抑制作用。

一维ALE曲线揭示了关键过程变量的“阈值”和“平台”行为。丁酸盐浓度在≈2 g L^-1处出现显著激增，之后效应迅速上升并稳定在约+0.20。生物量和COD均表现出特征性的抑制阈值：当生物量超过≈27 g L^-1或COD超过≈35 g L^-1时，效应骤降至-0.20以下。Ni浓度在0-20 mg L^-1范围内促进氢生成，之后效应趋于平稳。乙醇和乙酸/丁酸盐比率则对氢形成有明显的拮抗作用。

二维ALE曲面阐明了单因素剖面中不明显的成对交互效应。Fe-Ni景观呈鞍形拓扑：当Fe维持在10-20 mg L^-1且Ni升高至40-60 mg L^-1时，ALE响应在+0.015处达到峰值。Ni缺乏或过量Fe（>60 mg L^-1）则使曲面急剧进入负值区域。pH-HRT和生物量-HRT平面沿HRT轴表现出“平台-阈值”模式：在4-6小时的水力停留时间内，pH约4.88-4.92或生物量浓度28-32 g L^-1可使系统处于局部最优。低COD（<20 g L^-1）和乙酸/丁酸盐比率<1.0条件下，在pH 4.90-4.95处出现连续的“高平台”区域。一旦乙酸/丁酸盐比率超过≈2.0或COD升高超过≈35 g L^-1，曲面则转变为负值。

基于Python的GUI开发

为实现HGB框架的操作化，本研究编程了一个基于Python的GUI，嵌入了最终确定的HGB估计器。该应用程序允许用户输入参数后生成氢产率预测，旨在加速反应器设计和现场调整。为确保在工厂变异性下的可靠性，该GUI设置了三个实用保障：（i）对输入状态进行域内/域外（OOD）筛查；（ii）显示不确定性（预测带伴随点预测）；（iii）计划性的全模型滚动重训练。

结论与讨论

本研究成功应用GAN启发的生成-筛选策略，将210个暗发酵样本的原始数据集增强至1050个合成样本，显著改善了数据正态性和边界覆盖度。对比九种ML算法，HGB模型在合成测试数据集上表现最佳（R²≈0.95，RMSE<0.06，MAE<0.05），在整体准确性和鲁棒性上略优于XGB和CB等其他梯度提升模型。SHAP和ALE分析确定了丁酸盐、生物量和Ni是提高氢产率的关键因素，而高COD、乙醇和过长的HRT则与较低的氢产率相关。二维ALE进一步提出了模型偏好的设置——维持Fe/Ni比约1:3、HRT为4-5小时、pH约4.9、COD<25 g L^-1——这可能有助于建立一个能够缓冲负荷波动的“协同操作窗口”。基于优化的HGB模型，开发了一个原型Python GUI，以促进多变量氢产率预测和过程诊断，为废水暗发酵过程的快速系统设计和在线优化提供了实用工具。

总体而言，这项工作展示了“数据增强+梯度提升+可解释ML”策略在复杂生物质能源过程建模中的潜力，有助于解决因样本有限导致的过拟合问题，并从黑箱预测转向可操作的、模型指导的工艺指南。SHAP和ALE共同勾勒出了一幅从变量到机制再到控制行动的连贯关联-响应图谱。丁酸盐是模型中最强的正预测因子，这与直接释放H₂的丁酸盐型发酵化学计量学一致。生物量和Ni与协同效应相关，分别符合催化能力增加和[NiFe]氢化酶激活的机制。相反，高COD、乙醇和长HRT通过底物抑制/酸化、将还原当量转向溶剂化以及促进耗氢产甲烷菌来抑制H₂。一维ALE提出了实用的、模型估计的阈值，而二维ALE揭示了交互作用并定义了操作窗口。这些模式支持向丁酸盐主导的代谢转变，维持高但不过量的细胞密度和生物可利用的Ni，并避免底物过载或过长的停留时间。

尽管本研究取得了显著成果，但仍存在一些局限性。数据集规模较小且主要来源于文献，操作范围比实践中遇到的更窄；合成增强可以平滑变异性，但也可能强化潜在偏差。一些关键的工厂特定协变量和 temporal dynamics 未被明确参数化。未来的工作应优先考虑在多地点、纵向外部验证，结合不确定性量化和OOD保障，并采用轻量级迁移学习或领域自适应来校准模型以适应新工厂。通过所提出的策略，基于暗发酵的生物制氢有望从经验驱动转向数据智能驱动的方法，为废水碳中性和可再生氢供应链提供改进的技术支持。