语言模型在时间序列预测中的作用
语言模型在时间序列预测中的作用
从目前相关的研究情况来看，大语言模型在时间序列预测中的作用存在争议。
质疑其有用性的方面
- 消融研究结果：在对一些流行的基于语言模型（LLM）的时间序列预测方法进行消融研究时发现，去除LLM组件或将其替换为基本注意力层，在大多数情况下，预测性能不仅没降低，甚至还有所改善。这意味着LLM在其中起到的关键作用或许没有想象中那么大，其存在与否对最终的预测效果影响不大。
- 与从头训练模型对比：预训练的LLMs有着比较显著的计算成本，但对比从头开始训练的模型，并没有展现出更好的优势，既不能很好地表示时间序列中的序列依赖性，在少量示例设置场景下也难以提供有效的帮助，这也说明其在时间序列预测方面的实际价值有限。
可能存在有用性的方面
- 语言理解与特征提取潜力：语言模型本身具有强大的语言理解能力以及对文本等数据特征提取的能力，如果时间序列数据能通过合适的方式转化为文本形式或者与之结合（比如带有文本注释的时间序列数据），那么语言模型有可能挖掘出其中隐藏的有价值的关联信息，辅助进行