Antel

摘要： chatglm.cpp的一个主要特点就是以量化的形式对大模型进行优化，使其在CPU上能够进行高效推理。 本文主要查看chatglm.cpp是如何对模型进行量化的 chatglm.cpp在使用时主要分成两步： 使用convert.py将模型进行量化，得到ggml格式 使用./build/bin/mai 阅读全文