博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

11 2023 档案

ChatGLM.cpp的量化处理

摘要：chatglm.cpp的一个主要特点就是以量化的形式对大模型进行优化，使其在CPU上能够进行高效推理。 本文主要查看chatglm.cpp是如何对模型进行量化的 chatglm.cpp在使用时主要分成两步： 使用convert.py将模型进行量化，得到ggml格式 使用./build/bin/mai 阅读全文

posted @ 2023-11-08 22:00 Antel 阅读(525) 评论(0) 推荐(0)

ggml的量化处理

摘要：量化 ggml中的张量为ggml_tensor， ggml_tensor有几个值得注意的属性： enum ggml_op op 表示这个tensor是从哪个操作得到。 enum ggml_type type，为tensor的格式， ggml_type的定义如下： enum ggml_type { G 阅读全文

posted @ 2023-11-07 20:15 Antel 阅读(1016) 评论(3) 推荐(0)