深度学习笔记-上溢和下溢

上溢和下溢

下溢：指当一个接近于0的数字被四舍五入为0，这在某些方程中是非常致命的。比如除数下溢，导致程序异常。

上溢：当大数量级的数被近似为正负\(\infty\)时，之后的运算都可能返回非数字。比如指数运算。

对于这两种情况，我们需要进行数值稳定。

对Softmax进行数值稳定

softmax函数的定义如下

\[softmax(\mathbb x)_i=\frac{e^{x_i}}{\sum_{j=1}^n e^{x_j}} \]

异常

如果输入向量\(x\)中的所有值都非常小，这可能会导致分母的\(e^x\)也非常小，最终分母被四舍五入为0，导致程序异常。

向量\(x\)的所有值很大，分子分母都会上溢，最终也无法得到函数的正确结果。

数值稳定

为了解决这个问题，我们可以将输入改为\(z\)，\(z\)是\(**x\)和向量中最大值的差**。

这样处理后，我们的最大输入就是0（最大值-最大值），避免了上溢的可能。并且保证了分母至少有一个1（\(e^{最大值-最大值=0}\)），也避免了分母为下溢为0的可能。

\[z=x_i-max(x) \]