大模型部署加速
大模型部署加速
https://zhuanlan.zhihu.com/p/659571962
https://github.com/internlm/lmdeploy
https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/kv_int8.md
https://zhuanlan.zhihu.com/p/641641929
https://github.com/PanQiWei/AutoGPTQ/blob/main/docs/tutorial/01-Quick-Start.md
https://github.com/qwopqwop200/GPTQ-for-LLaMa
https://github.com/NVIDIA/TensorRT-LLM/blob/release/0.5.0/docs/source/precision.md
https://github.com/NVIDIA/TensorRT-LLM/tree/release/0.5.0/examples/llama
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 开源Multi-agent AI智能体框架aevatar.ai，欢迎大家贡献代码
· Manus重磅发布：全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后，我竟然真的恢复了删除的微信聊天记录！
· 没有Manus邀请码？试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY