随笔分类 -  019_探秘Transformer

1 2 下一页
MPK（Mirage Persistent Kernel）源码笔记（5）--- 执行引擎
摘要：MPK 包含内置 GPU 运行时系统，可在单个 GPU 巨型内核内完整执行任务图。这使得系统能在推理过程中无需额外内核启动的情况下，实现任务执行与调度的细粒度控制，以实现高吞吐量与低延迟。 阅读全文
posted @ 2025-11-02 20:58 罗西的思考 阅读(194) 评论(0) 推荐(1)
MPK（Mirage Persistent Kernel）源码笔记（4）--- 转译系统
摘要：MPK（Mirage Persistent Kernel）源码笔记（4） 转译系统 目录MPK（Mirage Persistent Kernel）源码笔记（4） 转译系统0x00 概要0x01 Task和Event1.1 可执行任务1.1.1 任务定义1.1.2 任务类型1.2 事件1.2.1 事件 阅读全文
posted @ 2025-10-31 21:02 罗西的思考 阅读(128) 评论(0) 推荐(0)
MPK（Mirage Persistent Kernel）源码笔记（3）--- 系统接口
摘要：MPK（Mirage Persistent Kernel）源码笔记（3） 系统接口 目录MPK（Mirage Persistent Kernel）源码笔记（3） 系统接口0x00 概述0x01 流程0x02 初始化0x03 定义计算图0x04 编译0x05 执行0xFF 参考 0x00 概述 因为转 阅读全文
posted @ 2025-10-29 21:12 罗西的思考 阅读(125) 评论(0) 推荐(0)
MPK（Mirage Persistent Kernel）源码笔记（2）--- 多层结构化图模型
摘要：MPK（Mirage Persistent Kernel）源码笔记（2） 多层结构化图模型 目录MPK（Mirage Persistent Kernel）源码笔记（2） 多层结构化图模型0x00 概要0x01 机制1.1 当前问题1.2 解决方案1.2.1 μGraphs：多层次计算图表示1.2.2 阅读全文
posted @ 2025-10-26 15:33 罗西的思考 阅读(205) 评论(0) 推荐(1)
MPK（Mirage Persistent Kernel）源码笔记（1）--- 基础原理
摘要：MPK（Mirage Persistent Kernel）源码笔记（1） 基础原理 目录MPK（Mirage Persistent Kernel）源码笔记（1） 基础原理0x00 概要0.1 传统LLM推理框架的瓶颈0.2 MPK的流程重构0.3 MPK的关键优势0x01 问题1.1 现有框架问题1 阅读全文
posted @ 2025-10-23 21:22 罗西的思考 阅读(301) 评论(0) 推荐(1)
探秘Transformer系列之（36）--- 大模型量化方案
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-06-08 20:13 罗西的思考 阅读(4104) 评论(1) 推荐(2)
探秘Transformer系列之（35）--- 大模型量化基础
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-06-02 20:22 罗西的思考 阅读(2855) 评论(0) 推荐(2)
探秘Transformer系列之（34）--- 量化基础
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-05-24 14:47 罗西的思考 阅读(1905) 评论(0) 推荐(0)
探秘Transformer系列之（33）--- DeepSeek MTP
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-05-17 09:55 罗西的思考 阅读(5156) 评论(0) 推荐(2)
探秘Transformer系列之（32）--- Lookahead Decoding
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-05-10 10:02 罗西的思考 阅读(1346) 评论(2) 推荐(0)
探秘Transformer系列之（31）--- Medusa
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-28 20:42 罗西的思考 阅读(2064) 评论(2) 推荐(2)
探秘Transformer系列之（30）--- 投机解码
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-23 19:57 罗西的思考 阅读(5980) 评论(4) 推荐(5)
探秘Transformer系列之（29）--- DeepSeek MoE
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-20 10:05 罗西的思考 阅读(5179) 评论(3) 推荐(3)
探秘Transformer系列之（28）--- DeepSeek MLA
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-17 20:04 罗西的思考 阅读(6462) 评论(10) 推荐(2)
探秘Transformer系列之（27）--- MQA & GQA
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-14 20:06 罗西的思考 阅读(3551) 评论(4) 推荐(2)
探秘Transformer系列之（26）--- KV Cache优化---分离or合并
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-12 20:38 罗西的思考 阅读(4876) 评论(0) 推荐(2)
探秘Transformer系列之（25）--- KV Cache优化之处理长文本序列
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-10 20:17 罗西的思考 阅读(4563) 评论(0) 推荐(0)
探秘Transformer系列之（24）--- KV Cache优化
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-08 20:27 罗西的思考 阅读(7372) 评论(1) 推荐(2)
探秘Transformer系列之（23）--- 长度外推
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-05 10:05 罗西的思考 阅读(2584) 评论(9) 推荐(2)
探秘Transformer系列之（22）--- LoRA
摘要：从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-04-03 19:47 罗西的思考 阅读(3188) 评论(1) 推荐(3)

1 2 下一页