2024年9月5日
优化采样参数提升大语言模型响应质量：深入分析温度、top_p、top_k和min_p的随机解码策略
摘要： 当向大语言模型(LLM)提出查询时，模型会为其词汇表中的每个可能标记输出概率值。从这个概率分布中采样一个标记后，我们可以将该标记附加到输入提示中，使LLM能够继续输出下一个标记的概率。这个采样过程可以通过诸如 temperature 和 top_p 等参数进行精确控制。但是你是否曾深入思考过temp 阅读全文
posted @ 2024-09-05 10:35 deephub 阅读(24) 评论(0) 推荐(0) 编辑