sasasatori

摘要： Standard Attention 标准Attention计算可以简化为： \[O = softmax(QK^T)V \tag{1} \]此处忽略了Attention Mask和维度归一化因子\(1/\sqrt{d}\)。 公式(1)的标准计算方式是分解成三步： \[S = QK^T \tag{2 阅读全文