使用git lfs下载大模型权重文件
大模型的权重文件很大,无法正常用clone命令从github、hugginface还是魔塔社区上下载,用git-lfs,或者用魔塔社区的组件(ModelScope SDK)下载,可以一步到位。我选择了用git-lfs从魔塔社区直接下载。
首先:安装git lfs:
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash
but:我的操作系统不在支持范围内,执行上述脚本报错,于是选择从网站下载相似的centos 7的repo文件(https://packagecloud.io/install/repositories/github/git-lfs/config_file.repo?os=centos&dist=7&source=script),保存到/etc/yum.repos.d目录,再通过yum install git-lfs命令安装,竟然也成了:
[github_git-lfs] name=github_git-lfs baseurl=https://packagecloud.io/github/git-lfs/el/7/$basearch repo_gpgcheck=1 gpgcheck=0 enabled=1 gpgkey=https://packagecloud.io/github/git-lfs/gpgkey sslverify=1 sslcacert=/etc/pki/tls/certs/ca-bundle.crt metadata_expire=300 [github_git-lfs-source] name=github_git-lfs-source baseurl=https://packagecloud.io/github/git-lfs/el/7/SRPMS repo_gpgcheck=1 gpgcheck=0 enabled=1 gpgkey=https://packagecloud.io/github/git-lfs/gpgkey sslverify=1 sslcacert=/etc/pki/tls/certs/ca-bundle.crt metadata_expire=300
其次:安装后执行命令配置一下git-lfs:git lfs install
最后:以后使用git lfs从魔塔社区拉取模型,多快好省。
git lfs clone https://www.modelscope.cn/OpenBMB/MiniCPM-MoE-8x2B.git
# 加上--depth 1参数,只拉取最近版本,不拉取写作记录
git lfs clone --depth 1 https://www.modelscope.cn/qwen/Qwen1.5-110B-Chat.git
git lfs clone --depth 1 https://www.modelscope.cn/qwen/Qwen1.5-110B-Chat.git