07 2024 档案

Paddle2ONNX 架构设计
摘要：Paddle2ONNX 架构设计一、目标 1.1 背景 AI工具库生态的碎片化：随着AI技术的快速发展，市场上涌现出了多种深度学习框架，如TensorFlow、PyTorch、PaddlePaddle等。每种框架都有其独特的优势和生态系统，但这也导致了AI工具库生态的碎片化。不同框架之间的模型和数据格式互不兼容，使得模型迁移和部署 阅读全文
posted @ 2024-07-10 16:08 Aurelius84 阅读(205) 评论(0) 推荐(0)
分布式混合并行训练关键技术解读
摘要：分布式混合并行训练关键技术解读为个人参与深度学习框架飞桨PaddlePaddle 开发时，梳理的个人笔记。 一、并行方式 1.数据并行（Batch维度） 数据并行分为了两种模式：Data Parallel（DP） 和 Distributed Data Parallel（DDP） 。 1.1 Data Parallel DP是一种 阅读全文
posted @ 2024-07-08 20:17 Aurelius84 阅读(700) 评论(0) 推荐(0)
大模型如何提升训练效率
摘要：大模型如何提升训练效率一、问题背景 随着AIGC领域的兴起，各大厂商都在训练和推出自研的大模型结构，并结合业务进行落地和推广。在大模型分布式训练场景中，主流的主要是基于英伟达GPU进行训练（如A100），如何有效地压榨GPU的计算能力，提升训练效率，降低训练成本，是一个非常重要的实践优化问题。 1.1 直接目标 最直接地 阅读全文
posted @ 2024-07-08 19:58 Aurelius84 阅读(3556) 评论(0) 推荐(0)

点击右上角即可分享
微信分享提示