第六十四周周报 TCN-LSTM

week 64 TCN-LSTM

摘要

本周阅读了题为A hybrid deep learning approach to improve real-time effluent quality prediction in wastewater treatment plant的论文。该项研究提出了一种将TCN与LSTM结合的混合模型，以增强污水处理厂出水TN的模拟。该模型使用中国江苏省某污水处理厂的实时数据进行训练和测试。TCN-LSTM模型结合了TCN的灵活接受域和LSTM的长期依赖关系提取能力，有效防止特征退化和过拟合。实验结果显示，与单一TCN或LSTM相比，混合模型的每小时实时预报精度提高了33.1%，与传统FFNN相比，性能效率提高了63.6%。

Abstract

This week’s weekly newspaper decodes the paper entitled A hybrid deep learning approach to improve real-time effluent quality prediction in wastewater treatment plant. This study proposes a hybrid model that combines TCN and LSTM to enhance the simulation of TN in wastewater treatment plant effluents. The model was trained and tested using real-time data from a wastewater treatment plant in Jiangsu Province, China. The TCN-LSTM model integrates the flexible receptive field of TCN and the long-term dependency extraction capability of LSTM, effectively preventing feature degradation and overfitting. Experimental results show that compared to single TCN or LSTM models, the hybrid model improves hourly real-time forecasting accuracy by 33.1%. Compared to traditional FFNN, the performance efficiency is increased by 63.6%.

1. 题目

标题：A hybrid deep learning approach to improve real-time effluent quality prediction in wastewater treatment plant

作者：Yifan Xie a, Yongqi Chen b,c, Qing Wei b,c, Hailong Yin b,c,*

发布：Water Research

• https://doi.org/10.1016/j.watres.2023.121092
• Volume 250, 15 February 2024, 121092

2. Abstract

污水处理厂的运行由于进水特性的巨大变化和污水处理过程的非线性而非常复杂。有效的污水处理厂出水水质建模可以为污水处理厂的运行和管理提供有价值的决策支持。在这项研究中，我们开发了一种新的混合深度学习模型，将时间卷积网络（TCN）模型与长短期记忆（LSTM）网络模型相结合，以改进污水处理厂出水小时总氮（TN）浓度的模拟。在江苏某污水处理厂进行了模型测试，将TCN-LSTM混合模型与单一深度学习模型（TCN和LSTM）和传统机器学习模型（前馈神经网络，FFNN）的预测结果进行了比较。与单一TCN或LSTM模型相比，混合TCNLSTM模型的准确率提高了33.1%，与传统FFNN模型相比，其性能提高了63.6%。与单独的TCN、LSTM和FFNN模型相比，所开发的混合模型在8小时内对污水处理厂出水TN的预测能力更高。最后，采用Shapley加性解释的模型解释方法识别影响污水处理厂出水水质行为的关键参数，发现去除对模型输出没有贡献的变量可以进一步提高建模效率，同时优化监测和管理策略。

3. 文献解读

3.1 Introduction

为了解决这些问题，本研究开发了一个混合TCN-LSTM模型来模拟污水处理厂每小时流出TN浓度。我们首次探索了混合TCN-LSTM模型模拟污水处理厂运行的可行性，并将混合模型的性能与单机机器学习模型的性能进行了比较。此外，我们对混合模型进行了可解释性分析，以识别直接影响模型性能的最具影响力的参数，并探讨了混合模型在扩展时间提前预测中的鲁棒性。

3.2 创新点

鉴于深度学习模型框架（如CNN、GRU、注意力机制和GCN）在特定场景下的优异性能，开发了一种混合深度学习预测框架（GCN - cnnga）来解决ietp中建模影响的挑战性问题。本研究的主要贡献如下：

1. 首次探索了混合TCN-LSTM模型模拟污水处理厂运行的可行性
2. 对混合模型进行了可解释性分析，以识别直接影响模型性能的最具影响力的参数
3. 采用Shapley加性解释的模型解释方法识别影响污水处理厂出水水质行为的关键参数

4. 网络结构

4.1 数据分析

污水厂处理流程如图一

表1提供了用于建模开发的2022年1 - 7月污水处理厂进出水量数据统计。从表中可以看出，污水处理厂的进水浓度在水量和水质方面变化很大。每小时进水流量在12.2 ~ 70.8 m3/h之间波动较大，平均流量为49.8 m3/h，变异系数（CV）为0.21。同样，进水COD、TN、TP和NH3-N的CV均超过0.30，范围在0.31 ~ 0.64之间，表现出较高的变异性。

与进水特征相似，污水处理厂出水TN浓度在研究期间也发生了很大变化。出水TN在1.63 ~ 22.8 mg/L之间波动明显，CV为0.38。总体而言，该污水处理厂出水TN平均浓度维持在7.33 mg/L，符合中国城市污水处理厂一级a排放标准（GB18918-2002）。但也有超过15 mg/L的排放限值的观察。目前，中国许多城市正在对污水处理厂进行升级改造，以达到更严格的排放标准，例如中国国家地表水水质标准的准IV级。在这种情况下，出水TN浓度的排放限值应进一步从15 mg/L降低到10 mg/L。因此，准确预测污水处理厂排放出水TN浓度对未来污水处理厂运行监管变化的实时指导具有重要意义。

4.2 混合深度学习框架的开发

混合深度学习模型的结构如图2所示，该模型由四层组成，依次为TCN层、LSTM层、dense层、output层。该算法是在spyder上使用python 3.9开发的，使用了来自TensorFlow、Scikit-learn、NumPy、Matplotlib和Pandas的包。

输入到TCN-LSTM模型的时间序列数据包括33个在线参数，其中6个进水参数，21个过程控制参数，6个出水参数，如2.2.1节所述。TCN结构的超参数包含5个隐藏层，膨胀率分别为2、4、8、16和32，滤波器尺寸为3，dropout率为0.1。对于LSTM结构，超参数包括1个LSTM层，3个隐含层，每层67个神经元，确定为输入参数的2倍加1 (Xie et al., 2022)， drop - out率为0.3。密度层中的神经元与LSTM层中的神经元相等。基于Adam优化器对模型进行训练，相关超参数包括学习率、β1、β2和θ，分别设置为0.001、0.95、0.999和1 × 10−8。将损失函数设置为平均绝对误差，使所建立的模型对异常值敏感。epoch数设置为80，批大小配置为32。

此外，原始数据采用滑动窗口排列，如图2所示。在本研究中，模型在时间步长t处的输出对应于区间[t， m t−1]内的原始数据。然后，按照以下三个步骤对污水处理厂出水水质进行预测。

1. 获取的WWTP数据S = (s1, s2, s3，…， st)分为训练数据集和测试数据集。将训练集作为TCN模型的输入，然后TCN模型对输入信息进行特征提取。提取这些数据后，特征X = (x1, x2, x3，…， xt)会暴露得更明显，这有利于后续LSTM模型的学习。
2. 将TCN模型提取的特征输入到LSTM模型中。然后，运行LSTM模型来反映时间序列数据在最终预测的污水处理厂出水数据中的长期关系Y = (y1, y2, y3，…通过记住需要长期记忆的关键信息，并通过输入、遗忘和输出门忘记不重要的信息。
3. 将预测结果与训练数据集进行比较，确定能保证模型最优调优的模型参数。测试集作为输入，进一步验证模型，完成预测任务。

5. 实验结果

评估标准

使用平均绝对百分比误差（MAPE）、平均绝对误差（MAE）、均方根误差（RMSE）和决定系数（R2）来测试污水处理厂出水预测的准确性。

模型可释性

Shapley加性解释（SHAP）是一种事后方法，也被用来进一步解释所开发的机器学习模型的行为(Zhu et al., 2022b；Zhang等人，2023)。SHAP方法基于来自合作博弈论的Shapley值，该值为联盟成员之间分配收益提供了一种合理的方法（Aas等人，2021）。特征（即预测器）的Shapley值是其对预测的贡献：Shapley绝对值越大，表示该特征的贡献越大。因此，SHAP值的一个优点是它能够描述模型预测如何根据模型特征值的变化而变化。

混合深度学习模型相对于TCN和LSTM的预测增强

单个LSTM和TCN网络以及TCN-LSTM混合网络的建模性能如图3和表2所示。图3展示了单深度学习模型和混合深度学习模型对1小时前的观测和预测时间序列数据集的比较。表2提供了单一和混合深度学习方法的MAPE、MAE、RMSE和R2的预测精度统计数据。

如上所述，在整个数据组中，较低的MAPE、MAE和RMSE以及较高的R2表明了模型的稳健性。从表2出水TN的结果可以看出，当使用训练数据时，TCN模型的性能指标（MAPE、MAE、RMSE和R2）分别为0.073、0.532、1.041和0.855。LSTM模型的MAPE、MAE、RMSE和R2分别为0.085、0.726、1.148和0.850。结果表明，TCN在训练数据集上的表现优于LSTM。采用TCN-LSTM混合模型对训练数据集的性能优于TCN和LSTM。

经检验数据评估，TCN模型的性能指标（MAPE、MAE、RMSE和R2）分别为0.132、1.018、1.421和0.746。LSTM模型检验的MAPE、MAE、RMSE和R2分别为0.139、1.004、1.326和0.747。通过MAPE、MAE和R2测量，TCN具有与LSTM相似的准确性。如果用RMSE测量，LSTM比TCN具有更高的精度。总的来说，可以得出TCN模型的性能接近LSTM模型的性能。然而，考虑到TCN和LSTM模型对训练数据的结果优于对测试数据的结果，TCN和LSTM在测试数据集的流出模拟中可能存在过拟合问题。

与单一TCN和LSTM模型相比，混合TCN-LSTM模型进一步显示了更好的预测性能。混合TCN- lstm模型的MAPE、MAE和RMSE测量指标比单一TCN模型提高了28.1~ 29.5%。使用TCN-LSTM模型后，试验数据预测值与观测值之间的R2由0.746提高到0.855。与独立LSTM模型相比，混合TCN-LSTM模型的MAPE、MAE和RMSE测量的准确率提高了22.9% ~ 33.1%。TCN-LSTM模型的R2为0.855，高于LSTM模型。

混合深度学习模型与FFNN模型的比较

基于时间序列出水TN数据，将TCN-LSTM混合模型与经典FFNN模型进行了比较（图4和表3）。图4显示了TCN-LSTM和FFNN模型提前一步观测到的时间序列数据集与预测的时间序列数据集的比较。表3给出了两种建模方法的MAPE、MAE、RMSE和R2的预测精度统计。

表3显示，混合TCN-LSTM在模拟出水TN浓度方面优于FFNN。以试验数据为测量值，FFNN近似废水处理过程的MAPE、MAE和RMSE分别为0.235、1.976和2.454，而使用TCN-LSTM的MAPE、MAE和RMSE分别为0.093、0.719和1.022。与FFNN相比，TCN-LSTM的性能效率提高了58.3% ~ 63.6%。如果基于R2对测试数据集进行比较，使用TCN-LSTM后，它从0.460增加到0.855。

6.结论

在这项研究中，我们提出了一个将TCN与LSTM相结合的混合建模框架，以增强对日益严格的排放标准的污水处理厂出水TN的模拟。该模型使用中国江苏省某污水处理厂的实时数据进行了训练和测试。所建立的TCN-LSTM混合模型结合了TCN和LSTM网络的优点，从输入数据中提取有效的时间特征。这种结构使得TCN模型具有灵活的接受域和更长的时间尺度，然后LSTM网络在保留TCN中提取的特征的同时进一步提取长期依赖关系。这样，该方法可以防止特征退化并克服单个深度学习模型中可能出现的过拟合现象，同时在应对污水处理厂进水参数的大变化和复杂的污水处理厂操作时表现出良好的性能。试验数据表明，与单一TCN或LSTM相比，混合TCN-LSTM模型的每小时实时预报精度可提高33.1%。与传统FFNN相比，TCN-LSTM的性能效率提高了63.6%。TCN-LSTM混合技术在未来多个时间步长中对污水处理厂出水TN浓度的预警能力也很强。与TCN、LSTM和FFNN模型相比，采用TCN-LSTM混合模型对污水处理厂出水TN进行提前8 h预警，预测可靠性提高10%以上。