性能飙升！时间序列+预训练强强联合，轻松迈入顶刊门槛！

2024深度学习发论文&模型涨点之——时间序列+预训练

在时间序列领域，预训练模型的优势在于能够利用时间序列中的复杂动态，并使用它来指导模型捕获时间依赖性。预训练模型可以分为监督预训练、无监督预训练和自监督预训练。这些模型通过不同的方式进行预训练，以提高在时间序列分类、预测和异常检测等任务上的性能。

在时间序列分析中，预训练模型也可以发挥作用。例如，预训练的神经网络模型可以用于时间序列预测，利用其在大规模数据集上学习到的特征表示来提高预测精度。通过这种结合，可以更好地捕捉时间序列数据中的复杂模式和关系。

如果有同学想发表相关论文，小编整理了一些时间序列+预训练【论文】合集，以下放出部分，全部论文PDF版

需要的同学公众号【AI智界先锋】回复“时间序列+预训练”即可全部领取

论文精选

论文1：

Boosting Time Series Prediction of Extreme Events by Reweighting and Fine-tuning

通过重新加权和微调提升极端事件的时间序列预测

方法

• 重新加权策略：通过加权损失函数强调极端事件样本的预测误差，使用元学习动态优化惩罚权重。

• 微调策略：在重新加权模型的基础上，仅使用罕见的极端样本进行微调，以进一步提升模型在极端样本上的性能。

• 元学习：不依赖于数据分布的先验知识，自动学习损失函数中的最优惩罚权重。

• 损失函数优化：通过最小化评估集上的预测误差来指导最佳惩罚权重的学习。

创新点

• 模型无关性：提出的重新加权和微调策略适用于任何类型的神经网络时间序列预测模型。

• 元学习动态优化：通过元学习自动寻找最优的惩罚权重，而不是依赖于简单的启发式方法。

• 极端事件的重点关注：通过重新加权和微调，模型能够更加关注对极端事件的预测，这对于实际应用中的重要性不言而喻。

• 性能提升：实验结果表明，元学习基础的重新加权方法优于现有的启发式方法，微调策略可以进一步提升模型性能。

论文2：

Chronos: Learning the Language of Time Series

Chronos: 学习时间序列的语言

方法

• 时间序列标记化：通过缩放和量化将时间序列值转换为固定词汇表中的离散标记。

• 变换器模型训练：使用交叉熵损失在标记化的时间序列上训练现有的基于变换器的语言模型架构。

• 数据增强策略：包括TSMixup和KernelSynth，通过混合真实数据和生成合成数据来增强模型的泛化能力。

• 概率预测：通过自回归采样预测分布来获得时间序列的未来可能轨迹。

创新点

• 极简主义方法：Chronos通过将时间序列值标记化到固定词汇表，并在这些标记上训练现有的语言模型架构，无需对模型架构进行时间序列特定的设计或修改。

• 跨领域数据利用：Chronos模型能够利用来自不同领域的时间序列数据，以提高在未见预测任务上的零样本准确性。

• 零样本性能：Chronos模型在新数据集上展现出色的性能，相对于专门针对这些任务训练的方法，Chronos具有可比性和偶尔的优越性。

• 预训练模型的简化：Chronos通过预训练模型简化了预测流程，减少了为每个新任务进行提示工程或微调的需求。

论文3：

Deep Learning for Exploring Landslides with Remote Sensing and Geo-Environmental Data: Frameworks, Progress, Challenges, and Opportunities

利用遥感和地理环境数据探索滑坡的深度学习：框架、进展、挑战和机遇

方法

• 深度学习任务分类：将深度学习任务分为五个关键框架——分类、检测、分割、序列和混合框架，并分析它们在滑坡相关任务中的具体应用。

• 深度学习模型应用：回顾了最新的研究成果，提供了深度学习模型在滑坡检测、制图、易发性制图和位移预测方面的强大能力的清晰见解。

• 挑战与未来研究方向讨论：讨论了当前的挑战和未来的研究方向，强调了模型泛化性和先进网络架构等领域。

• 深度学习框架应用：提供了深度学习框架在滑坡研究中的应用，包括分类框架、检测框架、分割框架、序列框架和混合框架。

创新点

• 深度学习框架的综合应用：首次将深度学习框架综合应用于滑坡研究，超越了传统方法，为滑坡风险管理和保护提供了新的视角。

• 深度学习任务的新颖分类：提出了一种新的深度学习任务分类方法，为地球和环境研究中的应用提供了清晰的理解，并为遥感专家提供了新的视角。

• 深度学习在滑坡研究中的应用：通过案例研究，突出了深度学习在滑坡风险管理中的潜力，并指出了未来研究的挑战和机遇。

• 模型泛化性和网络架构的深入探讨：强调了模型泛化性的重要性，并探讨了先进网络架构在滑坡分析中的应用，为未来的研究提供了新的方向。

论文4：

Amortized Equation Discovery in Hybrid Dynamical Systems

混合动态系统中的摊销方程发现

方法

• 摊销方程发现（AMORE）：提出了一种端到端学习框架，联合分类模式和发现描述每种模式动态的方程。

• 混合动态系统建模：通过所有属于模式的片段来发现描述每种模式动态的方程，通过学习候选基函数的组合并鼓励简洁性。

• 潜在分类变量推断：受REDSDS启发，推断潜在的分类变量，即模式变量，以对运动动态进行离散模式分类并学习其中的概率转换行为。

• 多目标场景扩展（AMORE-MIO）：将AMORE方法扩展到多目标场景，考虑多个对象之间的相互作用及其动态变化。

创新点

• 端到端学习框架：提出了一种新的端到端学习框架AMORE，用于混合动态系统中的方程发现，这是一个创新的方法，它联合了模式分类和方程发现。

• 混合动态系统的统一处理：通过将混合动态系统的问题重新定义，并提出一个统一的处理方法，AMORE能够更有效地处理具有连续和离散状态的复杂系统。

• 多目标场景的扩展：AMORE-MIO是AMORE方法在多目标场景中的扩展，这是以前方法中未探索的，它允许模型考虑对象之间的相互作用，增加了模型的适用性和复杂性。

• 实验验证：通过在四个混合系统和六个非混合系统上的实验，证明了AMORE方法在方程发现、分割和预测方面优于以前的方法。

如果有同学想发表相关论文，小编整理了一些时间序列+预训练【论文】合集。

需要的同学公众号【AI智界先锋】回复“时间序列+预训练”即可全部领取