使用GGML和LangChain在CPU上运行量化的llama2
Meta AI 在本周二发布了最新一代开源大模型 Llama 2。对比于今年 2 月发布的 Llama 1,训练所用的 token 翻了一倍,已经达到了 2 万亿,对于使用大模型最重要的上下文长度限制,Llama 2 也翻了一倍。
在本文,我们将紧跟趋势介绍如何在本地CPU推理上运行量化版本的开源Llama 2。
https://avoid.overfit.cn/post/9df8822ed2854176b68585226485ee0f