第二十七周学习周报

摘要

在本周阅读的文献中，作者提出了一种将SVM和BI-LSTM进行耦合的新型水质预测模型。BI-LSTM模型用于提取线性和非线性模式，然后将其发送到SVM模型。将BILSTM模型与SVM模型相结合提高了SVM模型的效率。与LSTM相比，处理两个方向信息的BILSTM-SVM模型表现出了卓越的性能。除此，论文中采用ABFT的二进制版本从时间序列数据中准确提取最优特征。由于该方法会自动选择输入组合，因此它比随机选择输入的预测效果更好。本次的学习将从原理学习和实验分析两部分进行。

Abstract

In the literature read this week, the author proposed a novel water quality prediction model that couples SVM and BI-LSTM. The BI-LSTM model is used to extract linear and nonlinear patterns, which are then sent to the SVM model. The combination of BILSTM model and SVM model has improved the efficiency of SVM model. Compared with LSTM, the BILSTM-SVM model that processes information in two directions exhibits excellent performance. In addition, the binary version of ABFT is used in the paper to accurately extract the optimal features from time series data. Due to its automatic selection of input combinations, this method has better predictive performance than randomly selecting inputs. This study will be divided into two parts: principle learning and experimental analysis.

1. 文献阅读

本周阅读了一篇名为Bidirectional Long Short-Term Memory (BILSTM) - Support Vector Machine: A new machine learning model for predicting water quality parameters 的论文
论文地址：Bidirectional Long Short-Term Memory (BILSTM) - Support Vector Machine
在论文中作者提出了将BI-LSTM与SVM进行耦合的新型模型用于预测水中的电导率（EC）以及总溶解固体（TDS），该模型显著提高了预测的准确性。

1.1 SVM

支持向量机（support vector machine，SVM）是一种二类分类模型，他的基本模型是定义在特征空间上的间隔最大的线性分类器。 支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convex quadratic programming）的问题，也等价于正则化的合页损失函数的最小化问题，支持向量机的学习算法是求解凸二次规划的最优化算法。
SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。如下图所示， wx+b=0 即为分离超平面，对于线性可分的数据集来说，这样的超平面有无穷多个（即感知机），但是几何间隔最大的分离超平面却是唯一的。

以线性支持向量机学习算法为例：

1.2 BI-LSTM

LSTM只能实现单向的传递，无法编码从后到前的信息。当我们语句是承前启后的情况时，自然能完成。但是当语句顺序倒过来，关键次在后面了，LSTM就无能为力了。在更细粒度的分类时，如对于强程度的褒义、弱程度的褒义、中性、弱程度的贬义、强程度的贬义的五分类任务需要注意情感词、程度词、否定词之间的交互。举一个例子，“这个餐厅脏得不行，没有隔壁好”，这里的“不行”是对“脏”的程度的一种修饰，通过BiLSTM可以更好的捕捉双向的语义依赖。

双向LSTM结构中有两个 LSTM 层，一个从前向后处理序列，另一个从后向前处理序列。这样，模型可以同时利用前面和后面的上下文信息。在处理序列时，每个时间步的输入会被分别传递给两个 LSTM 层，然后它们的输出会被合并。通过双向 LSTM，我们可以获得更全面的序列信息，有助于提高模型在序列任务中的性能。

双向神经网络的单元计算与单向的是相通的。但是双向神经网络隐藏层要保存两个值，一个参与正向计算，另一个值参与反向计算，处理完成后将两个LSTM的输出拼接起来

双向结构的设计可以提高模型的表示能力和性能，特别是好地捕捉序列中的信息、在处理复杂序列数据时。以下是为什么经常使用两层双向LSTM的一些原因：
更丰富的上下文信息： 两层LSTM可以提供更丰富的上下文信息。第一层LSTM将原始输入序列的信息进行初步处理，然后将其作为更丰富的输入提供给第二层LSTM。这有助于模型更好地捕捉输入序列中的特征和模式。
更强的特征表示： 两层LSTM可以逐步提取更抽象、更高级别的特征表示。第一层LSTM将原始数据进行编码，然后第二层LSTM在第一层的基础上进一步提取更有意义的特征。这有助于提高模型的表达能力，从而更好地建模序列数据
双向信息：双向LSTM可以从两个方向(正向和反向)分别获取序列数据的信息。

1.4 实验研究

该研究旨在预测伊朗北部沿海含水层的水质参数，那里以潮湿和半湿润气候为主。该流域的年降雨量从718毫米到880毫米不等。地下水满足了家庭、农业和工业用水需求的63%。地下水满足了85%的农业需求和75%的饮用水需求。研究的重点是预测两个最关键的水质参数，即TDS和EC。
数据集： 作者收集了2017年至2020年的每日数据。数据由伊朗水资源管理公司提供，其日常数据的来源是监测井。使用PH、Ca、Mg、Na、K、HCO、so和CI的滞后值进行预测，以预测提前1天、2天和3天的TDS和EC值。

模型的准确性评估由以下4方面组成：
1.RMSE

2.MAPE

3.索引协议

4.决定系数

实验流程：
（1）用ABFT算法微调参数，以确保输入的这些参数是最佳值从而获得最佳结果。总体大小(PSI)和最大迭代次数(MNI)被认为是随机的参数。

上图（a）和（b）显示了用于预测TDS和EC的最佳参数值。参数值在指定范围内变化，并选择最佳值以最小化误差函数(RMSE)。根据表a，PSI在45到180之间变化，最优值为90，这使得RMSE值最低，其他同理。获得的模型参数的最优值如下图所示。

（2）采用SSA的二进制版本来确定预测TDS和EC的最佳输入组合。输入变量的名称是决策变量。滞后时间在(t-1)和(t10)之间变化。由于有2-1的输入组合，因此确定最佳输入方案很复杂。二元SSA自动确定了最佳输入场景，而相关方法和主成分分析则确定了重要的输入。下图列出了得到的最佳输入场景。

（3）结果评估
TDS预测
下图评估了TDS预测在一天预测范围内的精度。

下图评估了TDS预测在两天预测范围内的精度。

下图评估了TDS预测在三天预测范围内的精度。
主要发现是：
(1)BILSTM-SVM模型的性能优于LSTM-SVM模型，因为它同时考虑了过去和未来的观察结果。
(2)混合模型(BILSTMSVM和LISTM-SVM)的表现优于LSTM 、BILSTM和SVM模型。
(3)与其他模型相比，SVM模型的AI和Rvalues较低，所有其他模型的性能都优于SVM模型。
(4)与LSTM模型相比，BILSTM模型具有更高的AI和R值。

EC评估
下图评估了EC预测在一天预测范围内的精度。

下图评估了EC预测在二天预测范围内的精度。

下图评估了EC预测在三天预测范围内的精度。

主要发现如下:
(1)BILSTM-SVM和LSTM-SVM模型表现出优异的性能
(2)BILSTM-SVM模型在训练和测试Al时表现出最高的准确性。因此，BILSTM-SVM模型优于LSTM-SVM模型。
(3) BILSTM模型的MAPE比LSTM和SVM模型低1%和4%。SVM模型在训练和测试MAPE时表现出最差的性能。
总体而言，研究结果表明，模型的准确性随着预测时间的延长而降低。
在实验中，作者还用泰勒图评估了模型准确性。
泰勒图是用于评估模型准确性的可视化工具。它测量中心均方根误差(CRMSE)、标准差和相关系数，以评估模型的准确性。理想的模型将更接近参考点(观测数据)。

上图是对TDS预测的准确性的评估。

上图是对EC预测精度的评估。由图可知BILSTM-SVM的性能最好。

总结

通过本周的学习，我对BI-LSTM以及SVM有了进一步的理解，但是关于ABFT的相关知识我没有找到其在机器学习方面的相关学习资料，后续我会继续试着找找。同时论文中提出的新模型也有它不足的地方，虽然该模型成功预测了数据点，但它们无法预测时间间隔。作者提出未来的研究可以将模型与贝叶斯方法相结合来预测时间间隔。