Fork me on GitHub

Coding Poineer

Coding Poineer

Coding Poineer

Coding Poineer

Coding Poineer

Coding Poineer

Coding Poineer

Coding Poineer

Coding Poineer

Coding Poineer

Coding Poineer

vllm服务推理参数


stop: List of string。【生成文本时,碰到此token就会停下,但结果不会包含此token】
stop_token_ids: List of string。【生成id时,碰到此id就会停止,会包含此id,比如 tokenizer.eos_token_id [im_end]】

最终判断是否停止,是两个的并集【同时考虑】

参考:
https://docs.vllm.ai/en/latest/offline_inference/sampling_params.html

posted @   365/24/60  阅读(817)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
历史上的今天:
2021-05-20 前端面经整理
点击右上角即可分享
微信分享提示