深度学习笔记-上溢和下溢

上溢和下溢

下溢：指当一个接近于0的数字被四舍五入为0，这在某些方程中是非常致命的。比如除数下溢，导致程序异常。

上溢：当大数量级的数被近似为正负$\infty$时，之后的运算都可能返回非数字。比如指数运算。

对于这两种情况，我们需要进行数值稳定。

对Softmax进行数值稳定

softmax函数的定义如下

$$softmax(\mathbb x)_i=\frac{e^{x_i}}{\sum_{j=1}^n e^{x_j}}$$

异常

如果输入向量$x$中的所有值都非常小，这可能会导致分母的$e^x$也非常小，最终分母被四舍五入为0，导致程序异常。

向量$x$的所有值很大，分子分母都会上溢，最终也无法得到函数的正确结果。

数值稳定

为了解决这个问题，我们可以将输入改为$z$，$z$是$**x$和向量中最大值的差**。

这样处理后，我们的最大输入就是0（最大值-最大值），避免了上溢的可能。并且保证了分母至少有一个1（$e^{最大值-最大值=0}$），也避免了分母为下溢为0的可能。

$$z=x_i-max(x)$$