摘要:
上一个博客我们看了rope. 那么llama的hidden_states就没啥难点了. 再整体把握一下hf里面llama的代码结构. 文件是:D:\Users\admin\miniconda3\Lib\site-packages\transformers\models\llama\modeling_ 阅读全文
摘要:
关键代码的理解: class LlamaRMSNorm(nn.Module): def __init__(self, hidden_size, eps=1e-6): """ LlamaRMSNorm is equivalent to T5LayerNorm """ super().__init__( 阅读全文
摘要:
进位尽量用脑子来记忆, 因为每一次进位只保存一个即可.进位跟下一个加完之后就更新了.所以记忆不难, 多训练即可. 举一个例子: 135*87 首先写下 135 87 75=35.所以脑子记住进位3, 写下5. 然后37=21, 所以我们写上4, 脑子记住2. 1*7=7所以我们写下9就完事了. 少写 阅读全文