自注意力

在一个英译中的场景中，source是英文，target是中文。

注意力只是实现了一个与一个对齐。例如source为Tom chases Jerry，Taget为汤姆追杰瑞。注意力是把Tom和汤姆对应，chases和追逐对应，Jerry和杰瑞对应。

而自注意力可以发现source和source，targe和targe之间词的关系。例如下图中自注意力可以发现its与law、application这些单词是相关性很大的。