大模型常见文件格式safetensors vs. gguf

safetensors

  • Header: 文件的元数据（大小、版本）
  • Meta data: 列表，每个元素表示文件里存的张量的类型、形状、偏移量
  • Tensor data: 列表元素对应的张量数据

gguf

gguf不依赖外部的配置文件，它可以把配置文件、词表、tokenizer、template等存入gguf中（如果一个模型有多个gguf文件组成，只有第一个会包含这些信息）

文件格式转换

safetenors转gguf 可以使用 llama.cpp提供的convert_hf_to_gguf.py脚本。

gguf转safetensors 目前没有较好的方法。

参考文献

posted @   October-  阅读(73)  评论(0)  编辑  收藏  举报
相关博文：
· PyTorch中实现Transformer模型
· 基于cifar数据集合成含开集、闭集噪声的数据集
· 大模型中 .safetensors 、.ckpt、.gguf、.pth、.bin
· GGUF大模型文件格式
· llama.cpp 转化 gguf 文件
阅读排行：
· Manus重磅发布：全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后，我竟然真的恢复了删除的微信聊天记录！
· 没有Manus邀请码？试试免邀请码的MGX或者开源的OpenManus吧
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
点击右上角即可分享
微信分享提示