2024年10月5日
大模型推理框架llama.cpp开发流程和常用函数介绍
摘要： llama.cpp是一个高性能的CPU/GPU大语言模型推理框架，适用于消费级设备或边缘设备。开发者可以通过工具将各类开源大语言模型转换并量化成gguf格式的文件，然后通过llama.cpp实现本地推理。经过我的调研，相比较其它大模型落地方案，中小型研发企业使用llama.cpp可能是唯一的产品落地 阅读全文
posted @ 2024-10-05 14:56 冷豪 阅读(1116) 评论(0) 推荐(0) 编辑