vllm服务推理参数
stop: List of string。【生成文本时,碰到此token就会停下,但结果不会包含此token】
stop_token_ids: List of string。【生成id时,碰到此id就会停止,会包含此id,比如 tokenizer.eos_token_id [im_end]】
最终判断是否停止,是两个的并集【同时考虑】
参考:
https://docs.vllm.ai/en/latest/offline_inference/sampling_params.html
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步