ModernTCN:用于一般时间序列分析的现代纯卷积结构
ModernTCN,一种现代纯卷积结构,它在多个主流时间序列分析任务上取得了与最先进的基于Transformer和MLP的模型相媲美的性能,同时保持了卷积模型的效率优势。
原文链接:
https://openreview.net/pdf?id=vpJMJerXHU
代码链接:
https://github.com/luodhhh/ModernTCN
ModernTCN与以往基于卷积的方法的有效感受野(ERF)。更广泛分布的明亮区域表示更大的ERF。文章的ModernTCN能够获得比以往基于卷积的方法更大的ERF。同时,扩大核心尺寸是获得大ERF的更有效方式,而不是堆叠更多小的核心。
ModernTCN块设计。M、N、D分别是变量、时间和特征维度的大小。DWConv和PWConv分别是深度卷积和逐点卷积的缩写。Groups是群组卷积中的组数。在设计中采用了BN(批量归一化)和GeLU。
创新之处
ModernTCN是一种现代化的纯卷积结构,它通过以下几个关键创新点,成功地将卷积技术重新带回时间序列分析的舞台:
-
现代化的卷积块设计:借鉴了Transformer中的架构设计,ModernTCN采用了深度卷积和逐点卷积的组合,以提高模型的表示能力。
-
时间序列相关的修改:为了更好地处理时间序列数据,ModernTCN引入了变量独立嵌入和跨变量依赖捕获机制。
-
扩大有效感受野(ERF):通过使用大核心尺寸而不是堆叠更多小核心,ModernTCN显著扩大了ERF,这有助于更好地捕捉时间序列数据中的长期依赖性。
主要结果
ModernTCN 在五种主流时间序列分析任务上以更高的效率实现了始终如一的最新性能。
免费快速领取方式(文末):ModernTCN:用于一般时间序列分析的现代纯卷积结构 (qq.com)
最后:
小编会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner,gui设计、simulink仿真......希望能帮到你!