LitServe 快速进行ai 模型服务的引擎
LitServe 是一个使用简单的基于fastapi 开发方的ai 服务引擎，支持批处理以及streaming 模式
包含的特性
- 灵活的扩展能力，支持callback 以及中间件模式，对于request 以及response 进行修改
- 完全控制，可以运行单个或者多个模型进行推理服务
- 构建组合ai 系统
- 自动缩放
- 多worker 支持
- 支持batch
- 支持多GPU
- openai 指南实现
- streaming 模式支持
- llm 服务支持
- 认证支持
说明
litgpt 就是基于LitServe 开发的，支持的功能还是很多的，对于快速开发ai api 服务还是比较方便的，很值得尝试下，当然不少特别是需要Lightning-AI 平台支持的，Lightning-AI 平台提供的能力还是很多的
参考资料
https://github.com/Lightning-AI/LitServe
https://lightning.ai/docs/litserve
https://github.com/Lightning-AI/litgpt
https://lightning.ai/docs/litserve/features
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
2023-11-07 nm 方便的查看对象文件的符号表信息工具
2022-11-07 grafana agent 配置支持faro-web-sdk试用
2022-11-07 grafana agent metrics 集成victoriametrics 试用
2020-11-07 pt-ioprofile io 瓶颈分析工具
2020-11-07 zombodb 3000 alpha1发布
2019-11-07 postgresql plv8 安装
2018-11-07 memsql 6.7集群安装