10 2024 档案

FlashAttention逐代解析与公式推导
摘要：Standard Attention 标准Attention计算可以简化为： \[O = softmax(QK^T)V \tag{1} \]此处忽略了Attention Mask和维度归一化因子\(1/\sqrt{d}\)。 公式(1)的标准计算方式是分解成三步： \[S = QK^T \tag{2 阅读全文
posted @ 2024-10-18 19:57 sasasatori 阅读(571) 评论(2) 推荐(0) 编辑
Design Compiler多时钟约束
摘要：这里的资料来源于《Synopsys® Timing Constraints and Optimization User Guide, Version P-2019.03-SP4, September 2019》 下面图中这几种情况都是我在实际项目中碰到过的，因此有必要单独做个说明。 第一个是同步派生 阅读全文
posted @ 2024-10-12 00:09 sasasatori 阅读(189) 评论(0) 推荐(1) 编辑
《综合与Design Compiler》笔记
摘要：《综合与Design Compiler》笔记 一直没系统的整理过DC这块的东西，这里借助一个挺好的文档《综合与Deisgn Compiler》以及我自己的经验和理解来归总一下。 1. 综合是什么 综合是使用软件的方法来设计硬件，然后将门级电路实现与优化的工作留给综合工具的一种设计方法。它是根据一个系 阅读全文
posted @ 2024-10-11 23:47 sasasatori 阅读(1086) 评论(0) 推荐(6) 编辑
聊聊LLMs与CIM
摘要：聊聊LLMs与CIM 1. LLMs的近况 首先对LLMs，即大语言模型做个简单的回顾，之前也写过长文介绍过来龙去脉。我们知道目前LLMs的基础是2017年提出的Transformer模型结构，更准确的说，现在LLMs中的主流方案是使用Decoder only的Transformer架构。LLMs的 阅读全文
posted @ 2024-10-09 21:10 sasasatori 阅读(329) 评论(0) 推荐(0) 编辑

主题色彩