2023年12月1日
Transformer
摘要： Attention 什么是注意力机制? 对于人类来说，注意力机制是在注意力有限的情况下，只关注接受信息的一部分，而忽略其他部分。 对于Transformer来说，以NLP为例，注意力机制就是对于当前token来说，为其所在序列中 对任务而言更重要的元素赋予更高权重(注意力)。 感知机可以认为是对不同 阅读全文
posted @ 2023-12-01 16:01 代码改变头发 阅读(13) 评论(0) 推荐(0) 编辑