2024年7月24日
LLM的C/C++推理：llama.cpp
摘要： 详见 https://github.com/ggerganov/llama.cpp LLM部署工具llama.cpp llama.cpp 旨在使用最少的硬件资源实现在本地或云端上的最优性能的LLM推理部署，其具有以下特点 纯C/C++实现，无任何依赖项 支持x86架构的AVX、AVX2和AVX512 阅读全文
posted @ 2024-07-24 15:27 Liang-ml 阅读(520) 评论(0) 推荐(0) 编辑