摘要: 新书出版:《分布式机器学习——系统、工程与实战》 ## 0x01 广告 经过一年多的努力,我的书 《分布式机器学习——系统、工程与实战》终于上架了,在这里打个广告。 ![](https://img2023.cnblogs.com/blog/1850883/202307/1850883-20230719224442070-381968133.jpg) 阅读全文
posted @ 2023-07-21 23:50 罗西的思考 阅读(1729) 评论(5) 推荐(3) 编辑
摘要: 前几篇文章我们介绍了 PyTorch 流水线并行的基本知识,自动平衡机制和切分数据等,本文我们结合论文内容来看看如何实现流水线依赖,核心就是如何建立这些小批次之间的跨设备依赖关系。 阅读全文
posted @ 2021-10-07 10:54 罗西的思考 阅读(2623) 评论(4) 推荐(3) 编辑
摘要: Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本系列将通过源码分析,和大家一起深入学习 Celery。本文是系列第二篇,继续探究 Celery 架构。 阅读全文
posted @ 2021-03-27 10:02 罗西的思考 阅读(2401) 评论(0) 推荐(0) 编辑
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-08 10:18 罗西的思考 阅读(163) 评论(0) 推荐(2) 编辑
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-05 20:37 罗西的思考 阅读(278) 评论(0) 推荐(1) 编辑
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-03 20:48 罗西的思考 阅读(271) 评论(0) 推荐(0) 编辑
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-01 14:33 罗西的思考 阅读(275) 评论(1) 推荐(1) 编辑
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-27 20:32 罗西的思考 阅读(375) 评论(2) 推荐(3) 编辑
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-24 20:02 罗西的思考 阅读(262) 评论(0) 推荐(1) 编辑
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-22 09:54 罗西的思考 阅读(357) 评论(0) 推荐(0) 编辑
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-20 20:42 罗西的思考 阅读(402) 评论(0) 推荐(1) 编辑
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-18 21:05 罗西的思考 阅读(306) 评论(0) 推荐(0) 编辑
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-15 09:37 罗西的思考 阅读(729) 评论(1) 推荐(11) 编辑