使用git lfs下载大模型权重文件

  大模型的权重文件很大,无法正常用clone命令从github、hugginface还是魔塔社区上下载,用git-lfs,或者用魔塔社区的组件(ModelScope SDK)下载,可以一步到位。我选择了用git-lfs从魔塔社区直接下载。

  首先:安装git lfs:

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash

   but:我的操作系统不在支持范围内,执行上述脚本报错,于是选择从网站下载相似的centos 7的repo文件(https://packagecloud.io/install/repositories/github/git-lfs/config_file.repo?os=centos&dist=7&source=script),保存到/etc/yum.repos.d目录,再通过yum install git-lfs命令安装,竟然也成了:

[github_git-lfs]
name=github_git-lfs
baseurl=https://packagecloud.io/github/git-lfs/el/7/$basearch
repo_gpgcheck=1
gpgcheck=0
enabled=1
gpgkey=https://packagecloud.io/github/git-lfs/gpgkey
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
metadata_expire=300

[github_git-lfs-source]
name=github_git-lfs-source
baseurl=https://packagecloud.io/github/git-lfs/el/7/SRPMS
repo_gpgcheck=1
gpgcheck=0
enabled=1
gpgkey=https://packagecloud.io/github/git-lfs/gpgkey
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
metadata_expire=300

  其次:安装后执行命令配置一下git-lfsgit lfs install

  最后:以后使用git lfs从魔塔社区拉取模型,多快好省。

git lfs clone https://www.modelscope.cn/OpenBMB/MiniCPM-MoE-8x2B.git
# 加上--depth 1参数,只拉取最近版本,不拉取写作记录
git lfs clone --depth 1 https://www.modelscope.cn/qwen/Qwen1.5-110B-Chat.git

 

git lfs clone --depth 1 https://www.modelscope.cn/qwen/Qwen1.5-110B-Chat.git
posted @ 2024-04-14 22:13  badwood  阅读(668)  评论(0编辑  收藏  举报
Badwood's Blog