2025年4月23日
CLIMB自举框架：基于语义聚类的迭代数据混合优化及其在LLM预训练中的应用
摘要： 尽管优化预训练数据混合对大型语言模型(LLM)的性能有显著影响，但确定最优数据配比仍然是一个亟待解决的挑战。为应对这一问题，英伟达提出了一种名为CLIMB(CLustering-based Iterative data Mixture Bootstrapping)的自动化框架，该框架能够在预训练环境 阅读全文
posted @ 2025-04-23 11:38 deephub 阅读(11) 评论(0) 推荐(0)