摘要： GPT前世今生-transformer-注意力机制 背景： 心理学知识，随意线索和非随意线索。 启发： 注意力机制中概念： query：你的要求 查询的东西。如问“你要干嘛？” key：如杯子，本子 value：可以也是杯子本子，也可以是对应的分值(即注意力重要程度) 数学： f(x) = xi，y 阅读全文