TFT架构学习
1.TFT架构图
2.各成分概述
1)门控机制
2)变量选择网络
3)静态协变量编码器
4)时间处理
5)通过分位数预测
2.1门控机制-门控残差网络GRN
\[GRN_{\omega}(a,c)=LayerNorm(a+GLU_{\omega}(\eta_{1}))\\
\eta_{1}=W_{1,\omega}\eta_2+b_{1,\omega}\\
\eta_2=ELU(W_{2,\omega}a+W_{3,\omega}c+b_{2,\omega})
\]
\[GLU_{\omega}(\gamma)=\sigma(W_{4,\omega}\gamma+b_{4,\omega})\odot(W_{5,\omega}\gamma+b_{5,\omega})
\]