2022 年 2月随笔档案 - 罗西的思考

摘要：在这系列文章中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。阅读全文

posted @ 2022-02-28 16:44 罗西的思考阅读(1349) 评论(0) 推荐(0) 编辑

摘要：在这系列文章中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。阅读全文

posted @ 2022-02-23 17:42 罗西的思考阅读(836) 评论(0) 推荐(0) 编辑

摘要：在这篇文章中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。阅读全文

posted @ 2022-02-22 18:09 罗西的思考阅读(912) 评论(0) 推荐(0) 编辑

摘要：在这个系列中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。阅读全文

posted @ 2022-02-21 19:36 罗西的思考阅读(648) 评论(0) 推荐(0) 编辑

摘要：在本系列中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。阅读全文

posted @ 2022-02-17 17:40 罗西的思考阅读(780) 评论(0) 推荐(0) 编辑

摘要：在这篇文章中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。阅读全文

posted @ 2022-02-16 20:04 罗西的思考阅读(1089) 评论(0) 推荐(1) 编辑

摘要：本系列之中我们将会介绍 NVIDIA 出品的 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。阅读全文

posted @ 2022-02-15 19:29 罗西的思考阅读(2573) 评论(2) 推荐(0) 编辑

摘要：NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。阅读全文

posted @ 2022-02-14 17:31 罗西的思考阅读(5565) 评论(2) 推荐(0) 编辑

摘要：NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。阅读全文

posted @ 2022-02-10 18:42 罗西的思考阅读(7256) 评论(0) 推荐(2) 编辑

摘要：NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。阅读全文

posted @ 2022-02-08 16:31 罗西的思考阅读(8232) 评论(3) 推荐(1) 编辑

摘要：NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。本文将对 Megatron 的基本架构做一下梳理。阅读全文

posted @ 2022-02-07 20:12 罗西的思考阅读(10705) 评论(0) 推荐(0) 编辑

02 2022 档案