论文笔记——流量预测
[!NOTE]
Ctrl + Enter：表格添加一行
Shift + Enter：表格内部换行，相当于末尾加\br
论文总结
Graph WaveNet
2019年，IJCAI，Graph WaveNet for Deep Spatial-Temporal Graph Modeling，交通流量预测
优势及创新点
- 基于实体之间的关系都是预定的（实际上不是），仅通过固定图结构捕获空间依赖 \(\rightarrow\) 使用自适应邻接矩阵，动态调整图结构 。通过两个可学习的向量实现，对应公式（5）。
- 无法有效捕获长时间序列 \(\rightarrow\)空洞卷积扩大感受野，模拟RNN、LSTM捕获长序列特征，同时拥有并行运算的特性。
- GCN考虑二阶邻居，即邻居的邻居。
- 模型训练/推理速度非常快。
不足
- 大规模数据集上应用Graph WaveNet的可拓展方法 。
- 进一步学习动态空间依赖。
代码复现
技巧
- 采用残差块，避免梯度消失。
- 尽可能采用卷积层代替其他层，如线性层（也叫全连接层）、skip connection等。减少模型参数，提高模型训练速度。
- 善用一维卷积。一维卷积不能改变张量的高宽，但能改变其通道数。
- 增加通道数：确保特征表示的丰富性，可以学习到更加复杂的特征。
- skip connection
- 特征累积：每一个中间层的特征都会对最终结果产生影响，提高模型的表现能力和训练稳定性。
- 缓解梯度消失。
- 门控机制
- tanh：[-1, 1]，提供实际的特征信息。
- sigmoid：[0, 1]，控制信息通过的程度。
filter * gate，即对应位置元素相乘：filter 中的每个值都会根据 gate 的值进行调制（也就是有选择性地放大或抑制）。
结果对比
以下结果基于METR-LA数据集，时间范围为60min。
| MAE\(\downarrow\) | RMSE\(\downarrow\) | MAPE\(\downarrow\) | |
|---|---|---|---|
| 论文 | 3.53 | 7.37 | 10.01% |
| 复现 | 3.0882 | 6.1751 | 8.23% |
\(\downarrow\) 表示值越低，效果越好。
评价指标
[!NOTE]
\(\hat{y_i}\)表示预测值，\(y_i\)表示真实值。
-
MAE（平均绝对误差 ）：mean absolute error。描述预测值与真实值之间的平均误差，单位一致。\(MAE = \frac{1}{n}\sum_{i = 1}^n\mid y_i - \hat{y_i}\mid\)
-
RMSE（均方根误差）：root mean squared error。因为平方之后较大误差会变得更大，所以惩罚较大误差，强调了极端值的影响。\(RMSE = \sqrt{\frac{1}{n}\sum_{i = 1}^n (y_i - \hat{y_i})^2}\)
-
MAPE（平均绝对百分比误差）：mean absolute percentage error。描述预测误差相对于真实值的百分比，显示了误差的相对大小。\(MAPE = \frac{100\%}{n} \sum_{i = 1}^n\mid \frac{y_i - \hat{y_i}}{y_i} \mid\)
论文阅读方法论
心态
不要瞎拼接模型，硬卷分数。要深入、反复思考该领域有哪些未解决甚至未被发现的痛点，再针对性设计算法。解决方案要更贴合实际，要真的从未来落地方向考虑。相当于自己开辟新的赛道，在自己的赛道里跟别人比，会大幅减少难度。
分析已解决与未解决的问题
- 论文中直接指出了已解决与未解决的问题。
- 从研究动机、创新点、使用方法或技术等分析出已经解决的问题，很可能该论文的研究动机、创新点、使用的方法或技术就是为了解决某些问题。
- 从实验结果、结论部分、未来工作等推断出该论文的不足。
- 自行分析不足
- 方法适用性：是否有特定限制？是否适用于所有情景？
- 实验设计：实验是否足够全面？是否考虑了所有可能的情况？
- 结果解释：结果是否支持作者的结论？是否有不一致之处？
