导航

2023年2月20日

理解Transformer的位置编码

摘要： 文本是时序型数据，词与词之间的顺序关系往往影响整个句子的含义。这里我整理了一些顺序不同，含义不同的例子。 传统的RNN模型在处理句子时，以序列的模式逐个处理句子中的词语，这使得词语的顺序信息在处理过程中被天然的保存下来了，并不需要额外的处理。 而对于Transformer来说，由于句子中的词语都是同 阅读全文

posted @ 2023-02-20 19:41 蝈蝈俊 阅读(3446) 评论(0) 推荐(0) 编辑