背景
这里记录一下从HuggingFace上下载Llama模型的流程,方便后续使用。
注册账号
目前Llama的模型是需要提交申请才可以使用,因此需要先注册HuggingFace的账号。这里有两点需要注意。
- 用户名会用来登录:用户名会用作后续下载模型使用,因此需要使用一个自己方便记忆的名称。
- 用户名修改次数:在注册完之后有且仅有一次修改用户名的机会。
Llama的申请
直接进入Llama模型的的界面,会有一个表单填写,填写完成之后就可以提交申请。需要注意一下两点:
- 中国区秒拒:需要换个ip选个ip对应的地区。
- 申请机会只有一次:一旦被拒绝只能换一个账号。
Llama的使用
生成ssh key的链接秘钥
使用git
来clone
项目的时候只能使用秘钥登录,这个在2023年11月之后开始施行。需要完成以下两个步骤
- 生成密钥:可以参考HuggingFace文档。
具体的参考过程如下,先生成公私钥。使用下面的指令生成,有着覆盖,没有则重新生成。ssh-keygen -t ed25519 -C "your.email@example.co" #eg: ssh-keygen -t ed25519 -C "qq.com@example.co"
- 在HuggingFace中添加密钥:
然后将公钥.pub
文件中的内容添加到HuggingFace的profile下。 - 为了避免出现
443
的错误,需要git
的配置代理:git config --global http.proxy "http://127.0.0.1:[port]" git config --global https.proxy "http://127.0.0.1:[port]" # eg:当port等于8080时 git config --global http.proxy "http://127.0.0.1:8080" git config --global https.proxy "http://127.0.0.1:8080"
- 测试
使用以下的指令测试是否配置成功。ssh -T git@hf.co # 出现以下的内容为成功 Hi [username], welcome to Hugging Face. # 如果username部分出现的是anonymous则表示配置失败 Hi anonymous, welcome to Hugging Face.
生成Access Tokens
要下载Llama的模型还需要用到Access Tokens
,可以通过use
指南看到下面的内容。
接着点击给出的提示生成一个可写权限的Access Tokens
。
需要注意以下内容:
Access Tokens
没保存就需要重新生成。一旦生成Access Tokens
是无法查看信息,需要在生成时保存下来。
下载模型
其他工作都准备好了,就可以开始下载模型了。与直接使用git clone
指令不同,这里需要使用Access Token
下载模型。具体细节或者问题可以参考官方给出一个其他使用access token的blog。
使用的指令如下
git clone https://[user-name]:[access-token]@huggingface.co/[repo-path]
# eg:
git clone https://llama:hf_xxxxxxxxxxxxxxxxx@huggingface.co/meta-llama/Llama-3.2-1B