[置顶] 新书出版：《分布式机器学习——系统、工程与实战》
摘要： 新书出版：《分布式机器学习——系统、工程与实战》 ## 0x01 广告 经过一年多的努力，我的书 《分布式机器学习——系统、工程与实战》终于上架了，在这里打个广告。 ![](https://img2023.cnblogs.com/blog/1850883/202307/1850883-20230719224442070-381968133.jpg) 阅读全文
posted @ 2023-07-21 23:50 罗西的思考 阅读(1729) 评论(5) 推荐(3) 编辑
[置顶] [源码解析] PyTorch 流水线并行实现 (5)--计算依赖
摘要： 前几篇文章我们介绍了 PyTorch 流水线并行的基本知识，自动平衡机制和切分数据等，本文我们结合论文内容来看看如何实现流水线依赖，核心就是如何建立这些小批次之间的跨设备依赖关系。 阅读全文
posted @ 2021-10-07 10:54 罗西的思考 阅读(2623) 评论(4) 推荐(3) 编辑
[置顶] [源码解析] 并行分布式框架 Celery 之架构 (2)
摘要： Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本系列将通过源码分析，和大家一起深入学习 Celery。本文是系列第二篇，继续探究 Celery 架构。 阅读全文
posted @ 2021-03-27 10:02 罗西的思考 阅读(2401) 评论(0) 推荐(0) 编辑
2025年3月
探秘Transformer系列之（11）--- 掩码
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-08 10:18 罗西的思考 阅读(163) 评论(0) 推荐(2) 编辑
探秘Transformer系列之（10）--- 自注意力
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-05 20:37 罗西的思考 阅读(278) 评论(0) 推荐(1) 编辑
探秘Transformer系列之（9）--- 位置编码分类
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-03 20:48 罗西的思考 阅读(271) 评论(0) 推荐(0) 编辑
探秘Transformer之（8）--- 位置编码
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-01 14:33 罗西的思考 阅读(275) 评论(1) 推荐(1) 编辑
2025年2月
探秘Transformer系列之（7）--- embedding
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-27 20:32 罗西的思考 阅读(375) 评论(2) 推荐(3) 编辑
探秘Transformer系列之（6）--- token
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-24 20:02 罗西的思考 阅读(262) 评论(0) 推荐(1) 编辑
探秘Transformer系列之（5）--- 训练&推理
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-22 09:54 罗西的思考 阅读(357) 评论(0) 推荐(0) 编辑
探秘Transformer系列之（4）--- 编码器 & 解码器
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-20 20:42 罗西的思考 阅读(402) 评论(0) 推荐(1) 编辑
探秘Transformer系列之（3）---数据处理
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-18 21:05 罗西的思考 阅读(306) 评论(0) 推荐(0) 编辑
探秘Transformer系列之（2）---总体架构
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-15 09:37 罗西的思考 阅读(729) 评论(1) 推荐(11) 编辑
下一页