如何使用Git LFS下载大模型权重
如何使用Git LFS下载大模型权重
大语言模型的权重文件通常比较大,直接从浏览器中下载的话不太方便。我们可以使用Git LFS获得更好的下载体验。Git LFS(大文件存储)是Git的一个扩展,允许我们更高效地处理大文件。
安装
git lfs install
或者
sudo apt-get install git-lfs
下载
以清华大学发布的ChatGLM2大模型为例,使用以下命令下载对应的权重文件:
git clone https://huggingface.co/THUDM/chatglm2-6b
其他操作
下载过程中可能会出现意外情况,可以使用以下命令灵活处理:
git fetch # 确保本地有最新的仓库状态和分支信息
git lfs ls-files # 检查仓库中的LFS对象列表,确定还有哪些文件需要下载
git pull # 确保仓库是最新的
git lfs fetch –all # 逐个下载剩余的LFS对象