self-attention为什么要除以根号d_k

参考文章：

https://blog.csdn.net/tailonh/article/details/120544719

正如上文所说，原因之一在于：

1、首先要除以一个数，防止输入softmax的值过大，导致偏导数趋近于0；
2、选择根号d_k是因为可以使得q*k的结果满足期望为0，方差为1的分布，类似于归一化。

首先我们来看看softmax函数的导数（下文的\(i,j\)的描述需要看该文章）：

https://zhuanlan.zhihu.com/p/105722023

其中,

\[p_i= \frac{e^{z_i}}{\sum_{c=1}^{c}e^{z_c}} \]

我们知道，假设\(j=i\),如果\(z_i\)比较大的话，那么\(p_i\)也会比较大，那么偏导会很小；
假设\(j\neq i\)，如果\(z_i\)比较大或\(z_j\)比较大的话，那么\(p_i\)会比较大且\(p_j\)比较小（因为\(z_i\)比较大），或者是\(p_i\)会比较小且\(p_j\)比较大，无论什么情况，偏导都会很小，这在反向传播的时候会造成梯度消失。

现在让我们来看看原因二，首先看一个实验现象：
我们知道，self-attention的计算原理可以用下图表示：

红色波浪线处的行向量为\(Q\)中的第一个行向量对\(K^T\)做矩阵乘法得到，现在让我们通过实验来看看这个红色波浪线处的行向量的数据分布。

首先，让我们定义\(Q\)和\(K\):

Q = torch.randn(size=(512,512))
K = torch.randn(size=(512,512))

如下图所示，\(Q\)和\(K\)的每一行的均值基本上为0，方差为1：

然后，让我们计算\(Q[0]K^T\):

最后，让我们来看看变量\(result\)的标准差：

其平方很接近512.
如果我们把维度提升10倍：

Q = torch.randn(size=(512,5120))
K = torch.randn(size=(5120,5120))

那么结果为：

从图中也可以看出来，数据之间的分布差异很大，如果有个值很大，那么经过softmax后，其值会很大，也会导致其他值很小，基本上就是01分布了，那么在在反向传播的时候，梯度就会很小（见上面的 softmax函数的导函数公式）。另外我们知道，标准差是衡量数据偏离均值的总体程度，如果除以标准差的话，那么结果就不会太大，也不会很小。