1 2 3 4 5 ··· 30 下一页
[置顶] 新书出版：《分布式机器学习——系统、工程与实战》
摘要： 新书出版：《分布式机器学习——系统、工程与实战》 ## 0x01 广告 经过一年多的努力，我的书 《分布式机器学习——系统、工程与实战》终于上架了，在这里打个广告。 ![](https://img2023.cnblogs.com/blog/1850883/202307/1850883-20230719224442070-381968133.jpg) 阅读全文
posted @ 2023-07-21 23:50 罗西的思考 阅读(1708) 评论(5) 推荐(3) 编辑
[置顶] [源码解析] PyTorch 流水线并行实现 (5)--计算依赖
摘要： 前几篇文章我们介绍了 PyTorch 流水线并行的基本知识，自动平衡机制和切分数据等，本文我们结合论文内容来看看如何实现流水线依赖，核心就是如何建立这些小批次之间的跨设备依赖关系。 阅读全文
posted @ 2021-10-07 10:54 罗西的思考 阅读(2611) 评论(4) 推荐(3) 编辑
[置顶] [源码解析] 并行分布式框架 Celery 之 worker 启动 (2)
摘要： Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。Celery 是调用其Worker 组件来完成具体任务处理。前文讲了 Celery 启动过程的前半部分，本文继续后半部分的分析。 阅读全文
posted @ 2021-04-01 21:58 罗西的思考 阅读(873) 评论(0) 推荐(0) 编辑
[置顶] [源码解析] 并行分布式框架 Celery 之架构 (2)
摘要： Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本系列将通过源码分析，和大家一起深入学习 Celery。本文是系列第二篇，继续探究 Celery 架构。 阅读全文
posted @ 2021-03-27 10:02 罗西的思考 阅读(2394) 评论(0) 推荐(0) 编辑
2025年3月
探秘Transformer系列之（9）--- 位置编码分类
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-03 20:48 罗西的思考 阅读(163) 评论(0) 推荐(0) 编辑
探秘Transformer之（8）--- 位置编码
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-03-01 14:33 罗西的思考 阅读(174) 评论(1) 推荐(1) 编辑
2025年2月
探秘Transformer系列之（7）--- embedding
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-27 20:32 罗西的思考 阅读(230) 评论(2) 推荐(3) 编辑
探秘Transformer系列之（6）--- token
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-24 20:02 罗西的思考 阅读(213) 评论(0) 推荐(1) 编辑
探秘Transformer系列之（5）--- 训练&推理
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-22 09:54 罗西的思考 阅读(307) 评论(0) 推荐(0) 编辑
探秘Transformer系列之（4）--- 编码器 & 解码器
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-20 20:42 罗西的思考 阅读(332) 评论(0) 推荐(1) 编辑
探秘Transformer系列之（3）---数据处理
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-18 21:05 罗西的思考 阅读(279) 评论(0) 推荐(0) 编辑
探秘Transformer系列之（2）---总体架构
摘要： 从零开始解析Transformer，目标是：(1) 解析Transformer如何运作，以及为何如此运作，让新同学可以入门；(2) 力争融入一些比较新的或者有特色的论文或者理念，让老鸟也可以有所收获。 阅读全文
posted @ 2025-02-15 09:37 罗西的思考 阅读(660) 评论(1) 推荐(11) 编辑
探秘Transformer系列之（1）：注意力机制
摘要： 探秘Transformer系列之（1）：注意力机制 0x00 概述 因为各种事情，好久没有写博客了，之前写得一些草稿也没有时间整理（都没有时间登录博客和微信，导致最近才发现好多未读消息和私信，在这里和各位朋友说下万分抱歉）。现在恢复更新，是因为最近有些从非AI领域转过来的新同学来找我询问是否有比较好 阅读全文
posted @ 2025-02-09 11:16 罗西的思考 阅读(974) 评论(3) 推荐(15) 编辑
1 2 3 4 5 ··· 30 下一页
点击右上角即可分享
微信分享提示