2022-12-05 Visualizing the Loss Landscape of Neural Nets
2022-12-05 Visualizing the Loss Landscape of Neural Nets
description
简介
定义
loss landscape 即对loss进行可视化，不同于一般的可视化，这里的可视化是指loss function随着network 的参数（权重）变化而变化的可视化。
这里的loss function是一个多元的多维度 的函数，变量是模型的参数。
为什么需要这个
在训练过程中可视化这些损失值的形态和动态，可以帮助我们对训练过程和一般的深度学习产生新的见解。
更好的理解训练的过程。
- 优化我们的算法
- 更好的理解
如何处理这么多维度
想要可视化、必须减少维度
two random directions 其中一种方法是在空间中使用一些随机方向，随机向量的权重向量大小相同。这两个随机方向组成一个平面。这个平面穿过多维空间，在二维空间中显示出它的结构。如果我们再增加第三个垂直维度，即该平面上每个点的损失值，我们就可以在熟悉的三维空间中可视化景观结构
PCA
Conclusion
- Reminder of how helpful the guide is
- Reiterate how important your topic is
- Call-to-action
