2024/11/17周报

摘要

本周阅读了一篇基于一种改进污水处理厂实时出水水质预测的混合深度学习方法的文章，文中提出一种混合深度学习模型（TCN-LSTM），用于实时预测污水处理厂（WWTP）排水总氮（TN）浓度。通过结合TCN的特征提取能力和LSTM的长短期依赖建模优势，模型在准确性和鲁棒性上优于单一模型（TCN、LSTM）及传统前馈神经网络（FFNN）。研究表明，TCN-LSTM在提前预警能力上表现突出，预测准确率在1至8小时内均显著高于其他模型。通过SHAP分析识别了关键输入变量，并优化了模型特征，提高了效率与适用性。该模型适应复杂非线性系统，具有广泛应用潜力，为WWTP排放管理和优化提供科学支持。

Abstract

This week, I read an article about a hybrid deep learning approach to improve real-time effluent quality prediction in wastewater treatment plants. The study proposed a hybrid deep learning model (TCN-LSTM) designed to predict the total nitrogen (TN) concentration in WWTP effluent in real time. By integrating the feature extraction capabilities of Temporal Convolutional Networks (TCN) with the long-term dependency modeling strengths of Long Short-Term Memory (LSTM) networks, the model outperformed standalone models (TCN and LSTM) and traditional Feedforward Neural Networks (FFNN) in terms of accuracy and robustness. The research demonstrated that TCN-LSTM excels in early warning scenarios, maintaining significantly higher prediction accuracy over 1 to 8 hours compared to other models. Using SHAP analysis, the study identified key input variables and optimized model features, enhancing both efficiency and applicability. This model adapts well to complex nonlinear systems, offering broad application potential and robust scientific support for WWTP discharge management and optimization.

文献

题目

A hybrid deep learning approach to improve real-time effluent quality prediction in wastewater treatment plant

研究背景和问题陈述

污水处理厂（WWTP）是城市水环境保护和公共健康维护的重要基础设施，通过降低污水排放中的污染物浓度，减少其对环境和人类健康的危害。然而，由于进水特性的不确定性、污染物浓度的波动以及污水处理过程的高度非线性，WWTP 的运行和管理面临重大挑战。这种复杂性表现为进水流量的剧烈变化、污染物种类和浓度的多样性以及工艺条件的动态变化，使得预测和优化污水处理过程变得极为困难。

传统的污水处理建模方法，如20世纪60年代提出的动力污泥生长模型和80年代发展的活性污泥模型（ASM），尽管为污水处理工艺的理解和模拟提供了理论支持，但它们在实际应用中面临参数校准复杂、对专业知识依赖强的问题。此外，这些模型往往无法适应现代污水处理厂运行过程中越来越复杂的非线性特征。尽管结合动态污水处理模型的软件工具（如GPS-X）已经投入应用，但在处理数据量庞大、实时性要求高的环境下，其效能仍然有限。

随着人工智能技术的快速发展，机器学习（ML）逐渐成为预测污水处理厂排放水质的一种有效手段。相比于传统的机制模型，机器学习模型能够从大量数据中挖掘非线性特征并建立输入与输出之间的关系，特别适用于处理污水处理过程中复杂的时间序列数据。目前，人工神经网络（ANN）、支持向量回归（SVR）、随机森林（RF）和极端梯度提升（XGBoost）等算法已被用于污水处理过程的建模和预测。然而，单一算法在捕获复杂系统全局特性方面存在局限性，因此逐步兴起了基于深度学习的混合模型，通过结合多个单一算法的优点，提升预测精度和稳定性。

深度学习中的典型模型如时序卷积网络（TCN）和长短时记忆网络（LSTM）因其处理时间序列数据的优势，已被应用于水环境管理中。TCN 具有并行计算能力和捕获长时间序列依赖的潜力，而 LSTM 擅长记忆和处理长时间跨度内的相关信息。然而，单一的深度学习模型通常无法全面反映污水处理厂运行中的复杂动态特性，因此需要探索混合模型的潜力。

基于此，本文提出了一种结合 TCN 和 LSTM 的混合模型，用于实时预测 WWTP 排水中的总氮（TN）浓度。这一研究填补了此前混合模型在污水处理领域应用的空白，并探索其对复杂动态系统预测的优势，同时引入解释性分析方法（如 Shapley 值分析），以量化各输入变量对预测的贡献，为优化监控和管理策略提供科学依据。

研究方法

1. 研究场地与数据来源

本研究选定江苏省南通市一座污水处理厂（WWTP）作为实验场地，该厂每日处理约2500立方米市政污水。其处理流程包括预处理（筛网）、砂砾室、活性污泥系统（包括水解酸化、缺氧、厌氧、好氧等阶段）以及后续的沉淀、过滤和消毒步骤。

数据采集

在线数据可以分为三组：污水处理厂进水流量和水质数据，污水处理厂出水水质数据和处理工艺监测和设备运行数据。
对于污水处理厂进水，有6个在线参数，包括提升泵进水量、进水水质数据（化学需氧量（COD）、氨氮（NH3-N）、总氮（TN）、总磷（TP）和pH值）;
对于污水处理厂出水，有6个在线参数，包括COD、NH3-N、TN、TP、pH值和出水流量。
这些参数的在线数据频率为1 h。
生物反应池内还设有21台在线监测装置，用于处理工艺监测和设备运行控制，其中溶解氧（DO）计2台、水位计2台、pH计2台、氧化还原电位（ORP）计8台、浊度计7台。所有上述装置的在线数据采集频率也为1 h。

数据预处理

原始数据中存在部分缺失，研究采用拉格朗日插值法补充，保证数据的连续性。由于不同参数的量纲差异较大，采用标准差归一化方法对数据进行标准化处理，以提高模型训练和测试的效果。

数据划分

将数据划分为训练集和测试集，其中80%数据用于训练，20%用于测试。这种比例设计能够充分利用时序数据的特性，增强模型的预测能力。

2. 混合深度学习模型开发

研究采用时序卷积网络（TCN）与长短时记忆网络（LSTM）的混合模型，旨在结合两者的优势，提升预测精度。

模型结构

混合模型的结构包括以下层次：

• TCN层：
  TCN具备并行处理特性，能够快速提取复杂序列数据中的局部特征，同时保持输入和输出维度的一致性。该层设置了五个隐藏层，膨胀率依次为2、4、8、16和32，滤波器大小为3，丢弃率（dropout）为0.1。
• LSTM层：
  LSTM层用来捕捉数据中的长时间依赖关系。该层包含一个LSTM单元，三层隐藏层，每层67个神经元，丢弃率为0.3。
• 密集层与输出层：
  密集层与输出层将提取的特征转化为目标预测值。

超参数设置

• 优化器：Adam，学习率为0.001。
• 损失函数：平均绝对误差（MAE），对异常值敏感。
• 训练批量大小：32。
• 训练轮次：80轮。

输入与滑动窗口

模型输入包括上述的33项在线参数。为增强时间序列的预测能力，使用滑动窗口法处理数据：窗口跨度为 [t, m + t − 1]，模型输出为时刻 t 的预测结果。

模型训练与预测流程

1. 特征提取：
   • 将训练数据输入TCN层进行特征提取。
   • TCN层提取的特征序列输入LSTM层，LSTM进一步捕捉长时间依赖关系。
2. 参数优化：
   • 模型预测值与实际值比较，更新参数以优化模型。
3. 模型验证：
   • 利用测试数据集验证模型预测性能，完成预测任务。

3. 对比实验与基准模型

为了验证混合模型的优越性，研究设计了多种基准模型用于对比：

• 单一深度学习模型：
  • TCN模型。
  • LSTM模型。
• 传统机器学习模型：
  • 前馈神经网络（FFNN）。

对比基准

所有模型均使用相同的输入参数和数据集，评估指标包括：

• 平均绝对百分比误差（MAPE）。
• 平均绝对误差（MAE）。
• 均方根误差（RMSE）。
• 决定系数（R²）。

4. 模型解释与变量贡献分析

为探讨输入变量对模型输出的影响，采用Shapley值分析（SHAP）解释混合模型的行为。SHAP值能够量化每个变量对模型预测的贡献：

• 贡献值越高，说明变量对预测结果影响越大。
• 对变量重要性排序，并通过移除不重要变量的实验验证模型优化空间。

变量移除实验

设计以下移除方案，分析其对模型性能的影响：

1. 移除进水参数。
2. 移除过程控制参数。
3. 移除出水参数。
4. 移除5个最重要参数。
5. 移除10个最不重要参数。

通过上述实验，量化模型对不同参数的依赖程度，并探索减少输入维度对预测性能的影响。

本研究的混合模型通过结合TCN的高效特征提取能力和LSTM的长时间依赖关系捕捉能力，展现出较高的预测精度和鲁棒性。同时，模型解释方法揭示了关键参数的重要性，为优化污水处理厂运行管理提供了科学依据。这种方法具有较高的通用性，适合推广至其他污水处理场景。

主要结果与讨论

本文通过构建混合深度学习模型（TCN-LSTM），对污水处理厂（WWTP）排水总氮（TN）的实时预测进行了深入研究，并通过多方面的结果分析验证了模型的性能和适用性。

预测性能的显著提升

混合模型在测试数据集上的预测表现优于单一模型（TCN和LSTM）以及传统前馈神经网络（FFNN）。在关键预测指标上：

• 与单一模型相比，TCN-LSTM在平均绝对百分比误差（MAPE）、平均绝对误差（MAE）和均方根误差（RMSE）上分别提升了28.1%-33.1%。模型的决定系数（R²）从单一模型的0.746（TCN）或0.747（LSTM）提高至0.855。
• 与传统FFNN相比，混合模型在MAPE、MAE和RMSE等指标上分别提升了58.3%-63.6%。特别是FFNN的R²仅为0.460，而混合模型达到0.855，展现了其在复杂非线性系统下更强的预测能力。

这些结果表明，混合模型能够有效整合TCN和LSTM的优点，不仅改善了特征提取和长短期依赖关系的建模能力，还通过模型结构设计减轻了过拟合问题。

提前预警的鲁棒性

混合模型在1小时、2小时、4小时和8小时的提前预警中均表现出较高的准确性：

• 提前1小时时，早期预警准确率为87.3%；即使提前8小时，准确率也维持在69.3%。
• 与其他模型对比，TCN-LSTM在延长提前时间的情况下仍表现出更高的可靠性。例如，在提前8小时的场景中，预测准确率比TCN、LSTM和FFNN分别提升了约10%。

这一结果表明，混合模型在实时动态调控中具有重要价值，可为污水处理厂运营管理提供强有力的支持。

关键变量的重要性与特征优化

通过SHAP分析量化了输入变量对模型输出的贡献，识别出对排水TN预测影响最大的变量，包括：

• 排水TN浓度；
• 预缺氧池的氧化还原电位；
• 提升泵的进水流量；
• 粗格栅前的水位；
• 好氧池的溶解氧浓度。

进一步的变量削减实验显示，去除关键变量会显著降低模型性能。例如，去除5个最重要变量后，MAPE和MAE分别增加了179%-229%，R²从0.855降至0.026。而去除10个最不重要变量时，模型性能几乎未受影响。这表明优化输入特征可以有效提升模型效率，同时减少不必要的监测成本。

模型的适用性与扩展性

混合模型在处理大幅波动的进水参数和复杂运行场景方面表现出较强适应性。其结构设计能在更长时间尺度上捕捉动态变化，适合于不同规模和类型的污水处理厂。在未来，该模型可与多目标优化框架结合，实现水质达标和经济效益的同步优化。

总结

本文提出的TCN-LSTM混合模型结合了TCN和LSTM的优势，在应对复杂非线性系统的动态预测方面表现出色。与传统方法相比，该模型在预测精度、抗过拟合能力和提前预警效果方面显著提高。此外，模型解释性分析为优化监控和管理策略提供了新视角，为污水处理领域的智能化管理奠定了基础。

这项研究不仅为实时污水预测提供了新的技术路径，也为更严格的污水排放标准下的管理决策提供了科学支持，具有广泛的应用前景。