如何从头开始使用 Docker 映像作为大型 ML 资产（例如模型、语料库）的资产库

如何从头开始使用 Docker 映像作为大型 ML 资产（例如模型、语料库）的资产库

MJT + Stable Diffusion 2022

我开始处理大型模型和其他与 ML 相关的资产，并且需要一个解决方案来解决如何在 Docker 开发环境中处理这些问题。

人们可能会倾向于卷。不幸的是，卷在机器之间是不可移植的。

一 能够 只需通过简单的 COPY 将资产直接捆绑到图像中。这在一定程度上可以正常工作。

问题是一个人可能想成为 高效的 ，并尽可能多地利用 Docker Image Layers。

Docker 图像作为资产库

Docker多阶段构建 救援。

诀窍是可以使用标记图像作为预定义的 '阶段' 构建的

要创建“资产映像”，首先为映像创建一个 Dockerfile

 从头开始  
 复制<assets>/

代替 <assets> 与希望保留的资产

接下来构建镜像

 $ build -t 'registry_host/asset/foo:0.1' 。

我建议坚持一个命名约定，这将使它的用途一目了然。我用 /资产 你做你。

实际上，图像标签成为 URI 资产，这使得计算和认知上的处理都很容易。

重要的是，这个标签是通用的，可以使用现有的 Docker 注册表/存储库基础设施跨机器拉/推和引用。

在图像中使用资产

 复制 --from=registry_host/asset/foo:0.1 / /assets/

对于奖励积分，您还可以使用 - 关联 如果/当可用时复制命令。

概括

将标记图像与多阶段构建结合使用，可以更快地构建和部署，并更有效地利用磁盘空间。

最初发表于 https://github.co/matthewjosephtaylor .

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明

本文链接：https://www.qanswer.top/37996/29421913