07 2023 档案

初步体验 llama.cpp
摘要：第1步，准备一台阿里云4核8G的服务器，操作系统用的是 ubuntu 22.04；第2步，签出 llama.cpp 源码进行 build；第3步，下载 4-bit 版本的 Vicuna-7B 模型，文件大小是3.6G；第4步，使用这个模型输入提示词 `Tell me about cnblogs`；第5步，下载 8-bit 版本的 Vicuna-7B 模型，文件大小是6.7G 阅读全文
posted @ 2023-07-30 22:54 dudu 阅读(987) 评论(3) 推荐(0) 编辑