2024年6月12日
LLM大模型: llama源码要点解读和调试（二）
摘要： 1、attention机制：这算是transformer架构最大的创新点了！利用attention机制，找到token之间的相似度(或则说距离)，根据相似度调整token本身的embedding值，本质就是根据token的context调整自身的embedding值，这个思路非常符合人脑对语言和语义 阅读全文
posted @ 2024-06-12 23:07 第七子007 阅读(1245) 评论(1) 推荐(0) 编辑