2023 年 12月 21 日随笔档案 - 张博的博客

llama的hf源码结构

摘要：上一个博客我们看了rope. 那么llama的hidden_states就没啥难点了. 再整体把握一下hf里面llama的代码结构. 文件是:D:\Users\admin\miniconda3\Lib\site-packages\transformers\models\llama\modeling_ 阅读全文

posted @ 2023-12-21 23:00 张博的博客阅读(67) 评论(0) 推荐(0) 编辑

llama的rope源码阅读

摘要：关键代码的理解: class LlamaRMSNorm(nn.Module): def __init__(self, hidden_size, eps=1e-6): """ LlamaRMSNorm is equivalent to T5LayerNorm """ super().__init__( 阅读全文

posted @ 2023-12-21 17:30 张博的博客阅读(56) 评论(0) 推荐(0) 编辑

乘法加法和代数计算如何算的快,准

摘要：进位尽量用脑子来记忆, 因为每一次进位只保存一个即可.进位跟下一个加完之后就更新了.所以记忆不难, 多训练即可. 举一个例子: 135*87 首先写下 135 87 75=35.所以脑子记住进位3, 写下5. 然后37=21, 所以我们写上4, 脑子记住2. 1*7=7所以我们写下9就完事了. 少写阅读全文

posted @ 2023-12-21 11:48 张博的博客阅读(5) 评论(0) 推荐(0) 编辑

张博的博客

导航