会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
罗西的思考
一手伸向技术,一手伸向生活
博客园
首页
新随笔
联系
订阅
管理
[置顶]
新书出版:《分布式机器学习——系统、工程与实战》
摘要:
## 0x01 广告 经过一年多的努力,我的书 《分布式机器学习——系统、工程与实战》终于上架了,在这里打个广告。 
阅读全文
posted @ 2023-07-21 23:50 罗西的思考
阅读(1729)
评论(5)
推荐(3)
编辑
[置顶]
[源码解析] PyTorch 流水线并行实现 (5)--计算依赖
摘要: 前几篇文章我们介绍了 PyTorch 流水线并行的基本知识,自动平衡机制和切分数据等,本文我们结合论文内容来看看如何实现流水线依赖,核心就是如何建立这些小批次之间的跨设备依赖关系。
阅读全文
posted @ 2021-10-07 10:54 罗西的思考
阅读(2623)
评论(4)
推荐(3)
编辑
[置顶]
[源码解析] 并行分布式框架 Celery 之架构 (2)
摘要: Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本系列将通过源码分析,和大家一起深入学习 Celery。本文是系列第二篇,继续探究 Celery 架构。
阅读全文
posted @ 2021-03-27 10:02 罗西的思考
阅读(2401)
评论(0)
推荐(0)
编辑
2025年3月
探秘Transformer系列之(11)--- 掩码
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。
阅读全文
posted @ 2025-03-08 10:18 罗西的思考
阅读(163)
评论(0)
推荐(2)
编辑
探秘Transformer系列之(10)--- 自注意力
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。
阅读全文
posted @ 2025-03-05 20:37 罗西的思考
阅读(278)
评论(0)
推荐(1)
编辑
探秘Transformer系列之(9)--- 位置编码分类
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。
阅读全文
posted @ 2025-03-03 20:48 罗西的思考
阅读(271)
评论(0)
推荐(0)
编辑
探秘Transformer之(8)--- 位置编码
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。
阅读全文
posted @ 2025-03-01 14:33 罗西的思考
阅读(275)
评论(1)
推荐(1)
编辑
2025年2月
探秘Transformer系列之(7)--- embedding
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。
阅读全文
posted @ 2025-02-27 20:32 罗西的思考
阅读(375)
评论(2)
推荐(3)
编辑
探秘Transformer系列之(6)--- token
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。
阅读全文
posted @ 2025-02-24 20:02 罗西的思考
阅读(262)
评论(0)
推荐(1)
编辑
探秘Transformer系列之(5)--- 训练&推理
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。
阅读全文
posted @ 2025-02-22 09:54 罗西的思考
阅读(357)
评论(0)
推荐(0)
编辑
探秘Transformer系列之(4)--- 编码器 & 解码器
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。
阅读全文
posted @ 2025-02-20 20:42 罗西的思考
阅读(402)
评论(0)
推荐(1)
编辑
探秘Transformer系列之(3)---数据处理
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。
阅读全文
posted @ 2025-02-18 21:05 罗西的思考
阅读(306)
评论(0)
推荐(0)
编辑
探秘Transformer系列之(2)---总体架构
摘要: 从零开始解析Transformer,目标是:(1) 解析Transformer如何运作,以及为何如此运作,让新同学可以入门;(2) 力争融入一些比较新的或者有特色的论文或者理念,让老鸟也可以有所收获。
阅读全文
posted @ 2025-02-15 09:37 罗西的思考
阅读(729)
评论(1)
推荐(11)
编辑
下一页
公告