摘要: 基于开放模型的推理时计算缩放 过去几年,大语言模型 (LLM) 的进程主要由训练时计算缩放主导。尽管这种范式已被证明非常有效,但预训练更大模型所需的资源变得异常昂贵,数十亿美元的集群已经出现。这一趋势引发了人们对其互补方法的浓厚兴趣, 即推理时计算缩放。推理时计算缩放无需日趋庞大的预训练预算,而是采用动态推理策略,让模型能够对难 阅读全文
posted @ 2025-01-02 17:23 HuggingFace 阅读(238) 评论(0) 推荐(1) 编辑
点击右上角即可分享
微信分享提示