2024年7月28日
LLM大模型：deepspeed实战和原理解析
摘要： 多年前搞大数据，因为单节点无力存储和计算PB级别的数据，所以hadoop这种分布式存储和计算框架是标配！如今搞大模型，仍然需要对大量样本数据做计算，因为涉及矩阵运算，单机单卡运算效率太低，也涉及到分布式计算了，大模型时代的分布式pre-train和Inference框架就有现成的—deepspeed 阅读全文
posted @ 2024-07-28 23:29 第七子007 阅读(1139) 评论(0) 推荐(0) 编辑