摘要:
总结如下: 入门级轻量部署:Ollama、LM Studio、GPT4All 高性能推理:Llama.cpp、vLLM、TGI、TensorRT-LLM 本地微调:LoRA + PEFT、Axolotl、DeepSpeed 企业级 API 部署:FastChat、OpenWebUI 1. 轻量级推理
阅读全文
posted @ 2025-03-28 16:57
kid;)
阅读(33)
推荐(0)
编辑
摘要:
https://www.llamafactory.cn/ollama-docs/modelfile.html
阅读全文
posted @ 2025-03-28 11:25
kid;)
阅读(3)
推荐(0)
编辑
摘要:
https://www.cnblogs.com/mq0036/p/18712786
阅读全文
posted @ 2025-03-28 10:03
kid;)
阅读(3)
推荐(0)
编辑