VisionTS:基于时间序列的图形构建高性能时间序列预测模型,利用图像信息进行时间序列预测

构建预训练时间序列模型时面临的主要挑战是什么?获取高质量、多样化的时间序列数据。目前构建基础预测模型主要有两种方法:

  1. 迁移学习LLM:通过针对时间序列任务定制的微调或分词策略,重新利用预训练的大型语言模型(LLM),如GPT-4Llama
  2. 从零训练:构建大规模时间序列数据集,并从头开始预训练模型,以期望其能泛化到新数据。

尽管第一种方法可行(因为Transformer是通用计算引擎)但其效果并不理想。第二种方法已经取得了更显著的成功,如MOIRAI、TimesFM、TTM等模型所示。

然而这些模型似乎遵循扩展定律,其性能很大程度上依赖于大量时间序列数据的可用性——这又将我们带回到最初的挑战。

那么如果我们能够利用不同的数据模态,比如图像呢?这种思路可能看似反直觉,但一些研究人员探索了这个假设并取得了突破性的结果。本文将讨论以下几个方面:

  • 图像如何在内部编码序列信息?
  • 利用预训练计算机视觉模型进行时间序列分析的概念
  • VisionTS:一种适用于时间序列数据的预训练Vision Transformer模型。

https://avoid.overfit.cn/post/5e61f6f7466c4a5da98b9ee4028f30dd

posted @ 2024-10-02 19:58  deephub  阅读(34)  评论(0编辑  收藏  举报