鲸鱼算法优化Transformer+KAN网络并应用于时序预测任务
😊😊😊欢迎来到本博客😊😊😊
本次博客内容将聚焦于深度学习的相关知识与实践
🎉作者简介：⭐️⭐️⭐️主要研究方向涵盖深度学习、计算机视觉等方向。
📝目前更新：🌟🌟🌟利用深度学习相关知识执行时序预测任务。
💛💛💛本文摘要💛💛💛
🌟前言
文章代码及数据链接：https://mbd.pub/o/bread/Z56clJ1u
KAN 与 Transformer 进行了结合，用于构建一个混合模型 KAN_Transformer 来完成共享单车租赁数量的预测任务。
KAN_Transformer 模型将 Transformer 编码器层和 KAN 网络层进行了串联，使得模型能够同时利用 Transformer 的序列处理能力和 KAN 网络的特性进行数据处理和预测。具体通过以下几个步骤来实现：
- 数据输入与嵌入
- Transformer 编码器层处理
- 全局平均池化
- KAN 网络层处理
通过以上步骤，KAN 网络与 Transformer 进行了有效的结合。Transformer 编码器层负责对输入数据进行序列特征提取和信息交互，而 KAN 网络层则在 Transformer 处理的基础上，进一步对数据进行特征变换和预测，从而充分发挥了两者的优势，提高了模型的性能。
该算法不仅仅可以应用于共享单车租赁数量的预测任务，还可以应用于其他单维度的预测任务。例如：电网产电预测，天气预测等等。
🌟鲸鱼算法
鲸鱼算法（Whale Optimization Algorithm, WOA）是由澳大利亚格里菲斯大学的 Mirjalili 等人在 2016 年提出的一种新型元启发式优化算法，其灵感来源于座头鲸的狩猎行为。以下从原理、数学模型、算法步骤、优缺点等方面详细介绍鲸鱼算法。
原理
座头鲸在捕食时会采用一种独特的策略，即螺旋式气泡网捕食法。鲸鱼先在猎物周围形成一个螺旋形的气泡网，然后逐渐收紧这个网，将猎物困在其中，最终完成捕食。鲸鱼算法就是模拟了座头鲸的这种捕食行为来进行优化搜索。
数学模型
鲸鱼算法主要包含三种行为模式：包围猎物、螺旋更新位置和搜索猎物，下面分别介绍其数学模型。
- 包围猎物
座头鲸能够识别猎物的位置并进行包围，在算法中，我们假设当前最优解就是猎物的位置。其他鲸鱼个体根据最优解的位置来更新自己的位置。 - 螺旋更新位置
座头鲸在捕食时会沿着螺旋形路径靠近猎物。 - 搜索猎物
鲸鱼会随机选择一个鲸鱼个体作为目标进行搜索，而不是直接朝着当前最优解移动，这样可以扩大搜索范围，避免算法陷入局部最优。其数学模型与包围猎物时类似，只是将替换为随机选择的一个鲸鱼个体的位置。
优点:
原理简单：算法的原理基于座头鲸的捕食行为，易于理解和实现。
全局搜索能力强：通过随机搜索和螺旋更新位置的策略，能够在搜索空间内进行广泛的探索，避免陷入局部最优。
参数较少：只需要设置种群数量、最大迭代次数等少数几个参数，降低了参数调整的难度。
缺点:
收敛速度较慢：在某些复杂问题上，算法的收敛速度可能较慢，需要较多的迭代次数才能找到最优解。
局部搜索能力不足：在接近最优解时，算法的局部搜索能力相对较弱，可能无法进一步优化解的质量。
鲸鱼算法是一种简单有效的元启发式优化算法，在许多领域都有广泛的应用，如函数优化、神经网络参数优化等。
🌟时序预测任务
时序预测任务是指基于时间序列数据，对未来某个时间点或时间段内的数值或事件进行预测的过程。下面将从定义、特点、应用场景、常见方法以及面临的挑战等方面详细介绍时序预测任务。
定义
时间序列数据是按时间顺序排列的一系列观测值，这些观测值可以是数值型（如温度、股票价格等），也可以是分类型（如每天的天气状况）。时序预测任务就是利用历史的时间序列数据，构建合适的模型，挖掘数据中蕴含的模式、趋势和规律，进而对未来的时间点或时间段的数值或事件状态进行预估。
特点
时间依赖性：时间序列数据中的每个观测值都与之前的观测值存在一定的关联，即数据具有自相关性。例如，今天的股票价格往往受到昨天以及过去一段时间内股票价格走势的影响。
趋势性：数据可能呈现出长期的上升或下降趋势。如随着科技的发展，电子产品的性能通常会呈现出逐年提升的趋势。
季节性：数据会按照一定的时间周期重复出现相似的模式。例如，冰淇淋的销售量在每年夏季会出现高峰，冬季则会下降，呈现出明显的季节性特征。
周期性：除了季节性周期外，数据可能还存在其他更长或更短的周期。比如，经济周期通常会经历繁荣、衰退、萧条和复苏四个阶段，呈现出一定的周期性波动。
噪声和不确定性：时间序列数据中往往包含噪声和随机波动，这些因素会增加预测的难度。例如，股票市场受到各种突发消息和市场情绪的影响，价格波动具有很大的不确定性。
应用场景
金融领域
股票价格预测：帮助投资者制定投资策略，预测股票未来的走势，评估投资风险。
汇率预测：对于跨国企业和外汇交易者来说，准确预测汇率变化可以降低外汇风险，优化资金配置。
信用风险评估：通过分析客户的历史信用数据时间序列，预测客户未来违约的可能性。
气象领域
天气预报：预测未来的气温、降水、风速等气象要素，为农业生产、交通出行、能源供应等提供决策依据。
气候预测：研究长期的气候变化趋势，如全球气温变化、海平面上升等，为应对气候变化提供科学支持。
交通领域
交通流量预测：预测道路、桥梁、地铁等交通设施的流量，帮助交通管理部门优化交通信号控制，缓解交通拥堵。
出行需求预测：对于共享出行平台和公共交通运营商来说，准确预测出行需求可以合理调配车辆资源，提高运营效率。
能源领域
电力负荷预测：预测未来的电力需求，帮助电力公司合理安排发电计划，优化电网调度，降低能源成本。
可再生能源发电预测：如太阳能、风能发电预测，有助于提高可再生能源的消纳能力，保障电网的稳定运行。
医疗领域
疾病发病率预测：预测传染病的发病率和传播趋势，为公共卫生部门制定防控策略提供依据。
医疗资源需求预测：预测医院的床位需求、药品消耗等，合理分配医疗资源，提高医疗服务质量。
🌟核心代码
def woa(fitness_function, lb, ub, dim, N, Max_iter):
# 初始化鲸鱼种群
Positions = np.random.uniform(lb, ub, (N, dim))
Convergence_curve = np.zeros(Max_iter)
t = 0
while t < Max_iter:
for i in range(N):
# 检查边界
Positions[i] = np.clip(Positions[i], lb, ub)
# 计算适应度值
fitness = fitness_function(Positions[i])
if i == 0:
Leader_score = fitness
Leader_pos = Positions[i]
elif fitness < Leader_score:
Leader_score = fitness
Leader_pos = Positions[i]
a = 2 - t * ((2) / Max_iter) # 线性减少 a 从 2 到 0
for i in range(N):
r1 = np.random.rand()
r2 = np.random.rand()
A = 2 * a * r1 - a
C = 2 * r2
l = (np.random.rand() - 0.5) * 2
p = np.random.rand()
for j in range(dim):
if p < 0.5:
if np.abs(A) < 1:
D = np.abs(C * Leader_pos[j] - Positions[i][j])
Positions[i][j] = Leader_pos[j] - A * D
else:
rand_leader_index = np.random.randint(0, N)
D = np.abs(C * Positions[rand_leader_index][j] - Positions[i][j])
Positions[i][j] = Positions[rand_leader_index][j] - A * D
else:
D1 = np.abs(Leader_pos[j] - Positions[i][j])
Positions[i][j] = D1 * np.exp(l) * np.cos(2 * np.pi * l) + Leader_pos[j]
Convergence_curve[t] = Leader_score
t = t + 1
return Leader_pos, Leader_score
🌟具体实验结果
🔎支持：🎁🎁🎁谢谢各位支持！