沉默的背影 X-Pacific

keep learning

2024年6月21日
transformer原理
摘要： Transformer注意力架构原理 输入层 embedding词嵌入向量 将文本中词汇的数字表示转变为向量表示，在这样的高维空间捕捉词汇间的关系 语义相近的词语对应的向量位置也更相近 每个词先通过词典转换成tokenId，在把tokenId转化为一个512纬的向量 位置编码 将每个词的位置向量（通 阅读全文
posted @ 2024-06-21 09:46 乂墨EMO 阅读(55) 评论(0) 推荐(1) 编辑