2023年8月26日
[fastllm]多线程下动态组batch实现解析
摘要： # [fastllm]多线程下动态组batch实现解析 ## 需求分析 新版本的fastllm中添加了ForwardBatch的功能，用于处理批量推理请求，单次推理请求会被视为batch为1的批量请求，这样做似乎没什么问题。 然而在具体实践中，用户的请求往往是一个一个来的，每来一个请求都要等上一个请 阅读全文
posted @ 2023-08-26 15:19 wildkid1024 阅读(362) 评论(0) 推荐(0) 编辑