【论文阅读】Reversible Instance Normalization for Accurate Time-Series Forecasting against Distribution Shift

原始题目：Reversible Instance Normalization for Accurate Time-Series Forecasting against Distribution Shift
中文翻译：针对分布偏移的精确时间序列预测的可逆实例归一化
发表时间：2021/10/06
平台：International Conference on Learning Representations
文章链接：https://openreview.net/forum?id=cGDAkQo1C0p
开源代码：https://github.com/ts-kim/RevIN

摘要

平均值和方差等统计特性通常在时间序列中随时间变化，即时间序列数据存在分布偏移问题。这种时间分布的变化是阻碍准确时间序列预测的主要挑战之一。为了解决这个问题，我们提出了一种简单而有效的归一化方法，称为可逆实例归一化（RevIN），这是一种具有可学习仿射变换的通用归一化和非归一化方法。所提出的方法是对称结构的，可以去除和恢复时间序列实例的统计信息，从而显著提高时间序列预测的性能，如图1所示。我们通过对各种真实世界数据集进行广泛的定量和定性分析，证明了RevIN的有效性，解决了分布变化问题。

图1：将我们的方法与最先进的基线进行比较的多变量时间序列预测结果，即Informer（Zhou et al.，2021）、N-BEATS（Oreshkin et al.，2020）和SCINet（Liu等人，2021）。该分析是在用电负荷（ECL）数据集上进行的，预测长度为7天。基线的预测（a）偏移和（b）缩放不准确。当采用到基线时，我们的方法显著提高了它们的预测性能，并使预测结果的分布与基本事实值更好地一致。

1. 方法

图2：拟议方法概述。我们举例说明了一个单变量情况，其中x（i）∈R1×Tx；输入数据x（i）实际上是多变量的（见第3.1节）。在RevIN中，（a-1）实例规范化和（a-2）非规范化是对称结构的，以从一层中去除（a-3）非平稳信息，并在另一层上恢复它。这里，RevIN应用于输入层和输出层。（a-3）非平稳信息包括来自输入数据的统计特性：均值μ、方差σ2和可学习仿射参数γ、β。归一化层将（b-1）原始数据分布转换为（b-2）以平均值为中心的分布，其中减少了不同实例之间的分布差异。使用ξx，该模型预测未来值ξy遵循（b-3）分布，其中消除了非平稳信息。为了恢复它（b-4），RevIN反转输出层中的实例规范化。

核心就是对多变量输入做可学习的标准化，原文的说法是：“一种适用于任意深度神经网络的可训练归一化层”

\[\hat{x}_{kt}^{(i)}=\gamma_{k}\left(\frac{x_{kt}^{(i)}-\mathbb{E}_{t}[x_{kt}^{(i)}]}{\sqrt{\mathrm{Var}[x_{kt}^{(i)}]+\epsilon}}\right)+\beta_{k}, \]

其中γ，β∈\(\mathbb{R}^K\)是可学习的仿射参数向量。归一化序列可以具有更一致的均值和方差，其中减少了非平稳信息。结果，归一化层允许模型准确地预测序列内的局部动力学，同时接收在均值和方差方面一致分布的输入。

2. 结果

在不同数据集上所提出的RevIN的表现。

与其他归一化方法的比较。