摘要:
忙碌世界外的花园 费曼学习法说,将学习表述给他人效率最高。然伯牙子期难觅,与同门、导师交流,总希望将内容一遍又一遍打磨,而不过多占用他人时间。可我是个急性子,取得小小进展的喜悦多么想表达出来。博客就是我的小小栖息地。 大三上沉迷折腾博客,偶然瞥见数字花园[1]的概念。博客于我就是大花园,我是园丁,博 阅读全文
摘要:
CMOS 计算和存储工艺发展步调并不一致,SOTA Memory 最高频率的远远低于 SOTA CMOS。如下图所示[1]: 除了性能,能耗上存储也远远高于计算能耗,存储能耗受诸多譬如大小、宽度等参数影响,但不妨粗略进行数量级估计计算,如图 2014 年 ISSCC 经典的数据 45 nm 0.9V 阅读全文
摘要:
符号推理,简单调研一下 符号 vs 模拟 形式验证和 UVM 验证方法(Functional Verification)本质出发点是不同的,一个基于符号逻辑推理,另一个基于模拟器。 比如有组合电路 A 和组合电路 B,要验证他们逻辑功能一致,即真值表一致。 ⚠️以下内容有猜测部分,待调研工具具体实现 阅读全文
摘要:
冯诺伊曼架构和存算不是对立的概念 从智能角度证明存算架构力度远远不够 存算针对的是存储和计算关系,冯诺依曼架构针对的是程序和数据都要存储,二者重心不一样因此不是对立的概念。 如果按原教旨主义理解冯诺依曼架构,就要追溯到 《First Draft of a Report on the EDVAC[1] 阅读全文
摘要:
很早前看到知乎的这篇回答[1],技术栈太浅薄不能理解 spatial computing 的核心问题,而今年 groq、tensotorrent、SambaNova 各种新鲜技术范式出现层出不穷,把我的胃口吊得高高的,遂调研 spatial computing。 Dataflow Accelerat 阅读全文
摘要:
CMOS 电路一般而言是不提供高阻态状态的,要提供高阻状态就得有特殊的电路安排,可是那样就使芯片上的电路单元不规整划一了……对于像这样的电路的实现,现在采用的策略是将其做成标准件供程序员选用,但不向程序员开放高阻状态,以免滥用——《香山源码剖析》5.1 组合电路 阅读全文
摘要:
今日不少北京的朋友在朋友圈晒出了漂亮的晚霞,欣赏美景之余不禁好奇,为何晚霞是红色呢?GPT 给出的回答无非绕不开瑞利散射对波长特性不一致,而落日时角度使得光路长度不一致,进而导致晚霞红色。但进一步深究,光路长度怎么影响到波长?傍晚红光穿透力强,蓝光被散射了,为何直射天空是蓝色的?GPT 就开始胡扯了 阅读全文
摘要:
捏他下相对论~可重构计算和时空域概念高度关联,而相对论也是探讨时空域之间的关联关系 阅读全文
摘要:
本文是 Mamba 阅读第一篇文章,本来想从三个问题出发(1)不同 SSM 模型的区别是什么?(2)Transformer 和 SSM 可以等效吗?什么情况下可以等效?(3)很多实验表明 Mamba1 和 Mamba2 并不是单纯替代关系[1],Mamba2 相比 Mamba1 的变化是什么?即 S 阅读全文
摘要:
广义来说并行分为俩种,提高单元效率是时域并行,一般是通过提高 utilization,而增加单元数量则是空域并行。现代处理器中往往各种并行机制混合存在,本文旨对不同的并行机制分析归类。大部分并行机制都是针对俩个问题:1)解耦单元之间的依赖关系提高并行度 [1],以及2)访存问题,后续并行机制大都可以 阅读全文
摘要:
ETH Computer Architecture Fall 2023 [1]课程笔记 从 parallelism 到 heterogeneity Admal's Law 和 Polloack's Rule 支撑 parallelism。理想 N 核对单核加速比遵守 \(s = \frac{1}{p 阅读全文