2023年7月20日
使用GGML和LangChain在CPU上运行量化的llama2
摘要： Meta AI 在本周二发布了最新一代开源大模型 Llama 2。对比于今年 2 月发布的 Llama 1，训练所用的 token 翻了一倍，已经达到了 2 万亿，对于使用大模型最重要的上下文长度限制，Llama 2 也翻了一倍。 在本文，我们将紧跟趋势介绍如何在本地CPU推理上运行量化版本的开源L 阅读全文
posted @ 2023-07-20 09:45 deephub 阅读(236) 评论(0) 推荐(0) 编辑