2021 年 10月随笔档案 - 罗西的思考

摘要：前文我们提到了 autograd 引擎的静态架构，本文开始我们从动态角度看看引擎是如何运作的。阅读全文

posted @ 2021-10-29 16:48 罗西的思考阅读(1667) 评论(1) 推荐(2) 编辑

摘要：前文最终我们提到了如下代码就是调用引擎来进行反向传播，本文我们首先从静态角度来看引擎，就是看看其数据结构和静态性质。阅读全文

posted @ 2021-10-27 20:02 罗西的思考阅读(1896) 评论(0) 推荐(1) 编辑

摘要：本系列将通过大概十篇左右文章来分析 PyTorch 的自动微分功能如何实现。本文是后向传播的第一篇，介绍调用流程：如何从 Python 代码进入到 C++ autograd 引擎。阅读全文

posted @ 2021-10-25 19:29 罗西的思考阅读(2958) 评论(0) 推荐(1) 编辑

摘要：本系列将通过大概十篇左右文章来分析 PyTorch 的自动微分功能如何实现。本文是前向传播的第三篇，介绍具体实现机制。阅读全文

posted @ 2021-10-23 09:57 罗西的思考阅读(3318) 评论(1) 推荐(2) 编辑

摘要：本系列将通过大概十篇左右文章来分析 PyTorch 的自动微分功能如何实现。本文是前向传播的第二篇，介绍自动微分（梯度计算）所涉及的部分 PyTorch 基础类。因为字数太多（1万两千字），所以拆分成上下两篇。阅读全文

posted @ 2021-10-20 07:12 罗西的思考阅读(2198) 评论(0) 推荐(1) 编辑

摘要：本系列将通过大概十篇左右文章来分析 PyTorch 的自动微分功能如何实现。本文是前向传播的第一篇，介绍自动微分（梯度计算）所涉及的部分 PyTorch 基础类。因为字数太多（1万两千字），所以拆分成上下两篇。阅读全文

posted @ 2021-10-18 17:30 罗西的思考阅读(4998) 评论(0) 推荐(1) 编辑

摘要：本文从 PyTorch 两篇官方文档开始为大家解读两个示例。本文不会逐句翻译，而是选取重点并且试图加入自己的理解。阅读全文

posted @ 2021-10-16 10:01 罗西的思考阅读(1952) 评论(0) 推荐(2) 编辑

摘要：本文和上文以 [Automatic Differentiation in Machine Learning: a Survey](https://arxiv.org/pdf/1502.05767.pdf )为基础，逐步分析自动微分这个机器学习的基础利器。阅读全文

posted @ 2021-10-14 17:21 罗西的思考阅读(4801) 评论(0) 推荐(5) 编辑

摘要：本文和下文以 Automatic Differentiation in Machine Learning: a Survey 这篇论文为基础，逐步分析自动微分这个机器学习的基础利器。阅读全文

posted @ 2021-10-12 17:25 罗西的思考阅读(6323) 评论(3) 推荐(7) 编辑

摘要：前几篇文章我们介绍了 PyTorch 流水线并行的基本知识，自动平衡机制和切分数据，本文我们结合论文内容来看看如何实现并行。阅读全文

posted @ 2021-10-10 08:18 罗西的思考阅读(2921) 评论(2) 推荐(0) 编辑

摘要：前几篇文章我们介绍了 PyTorch 流水线并行的基本知识，自动平衡机制和切分数据等，本文我们结合论文内容来看看如何实现流水线依赖，核心就是如何建立这些小批次之间的跨设备依赖关系。阅读全文

posted @ 2021-10-07 10:54 罗西的思考阅读(2457) 评论(4) 推荐(3) 编辑

10 2021 档案