VisionTS:基于时间序列的图形构建高性能时间序列预测模型,利用图像信息进行时间序列预测
构建预训练时间序列模型时面临的主要挑战是什么?获取高质量、多样化的时间序列数据。目前构建基础预测模型主要有两种方法:
- 迁移学习LLM:通过针对时间序列任务定制的微调或分词策略,重新利用预训练的大型语言模型(LLM),如GPT-4或Llama。
- 从零训练:构建大规模时间序列数据集,并从头开始预训练模型,以期望其能泛化到新数据。
尽管第一种方法可行(因为Transformer是通用计算引擎)但其效果并不理想。第二种方法已经取得了更显著的成功,如MOIRAI、TimesFM、TTM等模型所示。
然而这些模型似乎遵循扩展定律,其性能很大程度上依赖于大量时间序列数据的可用性——这又将我们带回到最初的挑战。
那么如果我们能够利用不同的数据模态,比如图像呢?这种思路可能看似反直觉,但一些研究人员探索了这个假设并取得了突破性的结果。本文将讨论以下几个方面:
- 图像如何在内部编码序列信息?
- 利用预训练计算机视觉模型进行时间序列分析的概念
- VisionTS:一种适用于时间序列数据的预训练Vision Transformer模型。
https://avoid.overfit.cn/post/5e61f6f7466c4a5da98b9ee4028f30dd
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
2022-10-02 4个Python推导式相关的开发技巧