Adversarial Sparse Transformer for Time Series Forecasting

 

Adversarial Sparse Transformer for Time Series Forecasting

2021-01-01 21:26:11

 

 

Paper: https://proceedings.neurips.cc/paper/2020/file/c6b8c8d762da15fa8dbbdfb6baf9e260-Paper.pdf 

Code: https://github.com/hihihihiwsf/AST 

 

 

　　本文将 transformer 模型 和 GAN 结合在一起，进行时序信息的预测。与常规的 transformer 模型不同，本文采用的是 sparse transformer，但是貌似是借鉴了其他人的工作 [α-entmax] 

Mathieu Blondel, André FT Martins, and Vlad Niculae. Learning classififiers with fenchel-young losses: Generalized entropies, margins, and algorithms. arXiv preprint arXiv:1805.09717, 2018. 

Ben Peters, Vlad Niculae, and André FT Martins. Sparse sequence-to-sequence models. arXiv preprint arXiv:1905.05702, 2019. 作者给出了这两个参考文献。。。

　　

　　为了更好地进行训练，作者引入了对抗损失函数，将 transformer 模型嵌入到 GAN 的框架中，进行对抗训练。整体算法框架图如下所示：

 

 

 

 

实验结果：