【NeurIPS 2021】Autoformer、源码论文对照(下)
这一部分 是 自相关机制部分
图 2
如图2所示，我们提出了自相关机制，通过序列级连接来扩展信息利用。自相关通过计算序列自相关来发现基于周期的依赖关系，并通过时间延迟聚合来聚合相似的子序列。
图3：自相关与自注意力家族的对比。完整注意力[35]（a）适应所有时间点之间的完全连接。稀疏注意力[17, 41]（b）基于提出的相似性度量选择点。对数稀疏注意力[20]（c）选择点时遵循指数增长的间隔。自相关（d）专注于底层周期内子序列之间的连接。
自相关与自注意力家族的对比
不同于逐点自注意力家族，自相关展示了序列级连接（图3）。具体来说，对于时间依赖性，我们基于周期性发现子序列之间的依赖关系。相比之下，自注意力家族仅计算分散点之间的关系。尽管一些自注意力[20, 41]考虑了局部信息，它们仅利用这一点来帮助逐点依赖关系的发现。对于信息聚合，我们采用时间延迟块来聚合来自底层周期的相似子序列。相比之下，自注意力通过点积聚合选定的点。得益于固有的稀疏性和子序列级表示聚合，自相关可以同时提高计算效率和信息利用率。