Google Colab 环境现已无需手动登录 HF 账号

前段时间我们介绍了一些 HF 核心库在 Google Colab 环境中的内置,包括可以使用 hf:// 资源标识符来调用 Hub 上的数据集等等,详情可以回顾文章:Google Colab 现已支持直接使用 🤗 transformers 库

今天,随着 huggingface_hub 库的更新,在 Google Colab 环境里,你可以使用其 Secrets (密钥) 功能,将 HF_TOKEN 加入其中成为环境变量直接调用!请查看详细的视频演示:

除此之外,自最近更新的 huggingface_hub 库版本 (v.19.0) 开始,我们将对一些环境变量的名称进行更改,以标准化生态系统中所有环境变量的使用 (均以 HF_ 开头):

变更前的环境变量 变更后的环境变量
HUGGINGFACE_HUB_CACHE HF_HUB_CACHE
HUGGINGFACE_ASSETS_CACHE HF_ASSETS_CACHE
HUGGING_FACE_HUB_TOKEN HF_TOKEN
HUGGINGFACE_HUB_VERBOSITY HF_HUB_VERBOSITY

下面是这些环境变量的功能介绍:

  • HF_HUB_CACHE:用于配置本地缓存 Hugging Face Hub 的仓库(模型、数据集和空间)。默认路径为 $HF_HOME/hub(例如 ~/.cache/huggingface/hub)。
  • HF_ASSETS_CACHE:用于配置本地缓存由下游库创建的资产。这些资产可能包括预处理数据、从 GitHub 下载的文件、日志等。默认路径为 $HF_HOME/assets(例如 ~/.cache/huggingface/assets)。
  • HF_TOKEN:用于配置用户访问令牌以认证到 Hugging Face Hub。如果设置了此变量,它将覆盖存储在机器上的令牌(位于 $HF_HOME/token)。
  • HF_HUB_VERBOSITY:设置 huggingface_hub 日志记录器的详细级别。必须是以下之一:{"debug", "info", "warning", "error", "critical"}。默认为 warning
posted @ 2023-12-22 19:45  HuggingFace  阅读(61)  评论(0编辑  收藏  举报