姚伟峰 - 博客园

Platform Challenges & Explorations for Deep Learning Medical Image Analysis

摘要： Platform Challenges & Explorations for Deep Learning Medical Image Analysis 姚伟峰 http://www.cnblogs.com/Matrix_Yao/ 2017年旧文 Platform Challenges & Explo 阅读全文

posted @ 2022-11-08 13:24 姚伟峰阅读(34) 评论(0) 推荐(0) 编辑

PyTorch Graph Execution

摘要： PyTorch Graph Execution 姚伟峰 http://www.cnblogs.com/Matrix_Yao/ References TorchDynamo: An Experiment in Dynamic Python Bytecode Transformation TorchIn 阅读全文

posted @ 2022-11-07 13:07 姚伟峰阅读(62) 评论(0) 推荐(0) 编辑

图智能 101

摘要： GNN 101 姚伟峰 http://www.cnblogs.com/Matrix_Yao/ GNN 101 Why Graph无处不在 Graph Intelligence helps It’s the right time now! What 如何建模图 Different Types of G 阅读全文

posted @ 2022-11-04 19:23 姚伟峰阅读(135) 评论(0) 推荐(0) 编辑

RETRO

摘要： RETRO 姚伟峰(Matrix Yao) RETRO Info Card Basic Idea How Does it Work Step-1: Retrieve Nearest Neighbors and Encode them Step-2: Decode Causally Results L 阅读全文

posted @ 2022-07-15 11:23 姚伟峰阅读(468) 评论(0) 推荐(0) 编辑

CV Recognition: From AlexNet To Inception-v4

摘要：姚伟峰 CV Recognition: From AlexNet To Inception-v4 AlexNet GoogLeNet-v1 VGG Inception-v2 & Inception-v3 ResNet Inception-v4 做研究就像比武论剑一样，要论剑就要到华山论剑，如果你一定阅读全文

posted @ 2022-03-02 16:51 姚伟峰阅读(42) 评论(0) 推荐(0) 编辑

集合通信行为分析 - 基于NCCL

摘要：姚伟峰集合通信行为分析 - 基于NCCL Phases NCCL Topology Phase Build Physical Topology (i.e. System Topology) Transport Types Build Logical Topology (i.e. Graph Top 阅读全文

posted @ 2022-02-17 15:55 姚伟峰阅读(2280) 评论(0) 推荐(0) 编辑

单机互联拓扑获取 - 软件方式

摘要：姚伟峰单机互联拓扑获取 - 软件方式 NV GPU 概况物理连接拓扑 Reference NV GPU 概况 $ nvidia-smi 如下是在某种机型上的输出示例：可知，本机型共有8张V100S-PCIe卡，每卡TDP为250W，DRAM大小为32GB。物理连接拓扑 $ nvidia-sm 阅读全文

posted @ 2022-02-17 15:47 姚伟峰阅读(531) 评论(0) 推荐(0) 编辑

计算架构的演进

摘要：姚伟峰计算架构的演进 Landmark Superscalar时期(1990s) ILP(Instruction Level Parallelism) DLP(Data Level Parallelism) Heterogeneous Parallelism Multi Core时期(2000s) 阅读全文

posted @ 2022-02-08 13:39 姚伟峰阅读(909) 评论(0) 推荐(4) 编辑

Performance Scaling Laws

摘要：并行优化有两个 scaling laws指导优化的界。 Amdahl's Law Amdahl's Law又叫strong scaling law。 Amdahl's Law For a given workload in single node, the theoretical speedup o 阅读全文

posted @ 2022-02-05 09:27 姚伟峰阅读(229) 评论(0) 推荐(0) 编辑

有趣的Cache创新@HotChips'33

摘要：姚伟峰有趣的Cache创新@HotChips'33 AMD - Zen 3 V-Cache(Vertical Cache) L3 Fabric Intel - CPU and GPU Rambo Cache IBM - Telum Virtual Cache References 当前流行的计算架阅读全文

posted @ 2022-01-29 16:22 姚伟峰阅读(229) 评论(0) 推荐(0) 编辑

足迹