基于 ACK Fluid 的混合云优化数据访问（二）：搭建弹性计算实例与第三方存储的桥梁
作者：车漾
前文回顾：
本系列将介绍如何基于 ACK Fluid 支持和优化混合云的数据访问场景，相关文章请参考：
基于 ACK Fluid 的混合云优化数据访问（一）：场景与架构
在前文《场景与架构》中，重点介绍 ACK Fluid 支持混合云数据访问适用的不同应用场景和架构实现。在本文中会重点介绍如何通过 ACK Fluid 实现公共云的弹性计算实例访问云下存储系统的能力。
概述
ACK（阿里云容器服务 Kubernetes）即开即用的弹性能力可以很好做自建IDC的弹性能力补充。特别是随着 AIGC 的流行，算力推动创新的理念深入人心，许多原本抵制计算上云的客户也开始在评估公共云。他们通常会选择使用 ECI（弹性计算实例）作为技术验证的第一步。但是，如何将自建存储与云上弹性资源对接，特别是 ECI 资源对接，就成了混合云客户使用阿里云的门槛。比如，用户想快速比较通过云上 ASK 和云下自建机房运行训练任务的成本，传统的做法需要把数据搬到云上，这就会涉及数据隐私问题，还有迁移的时间和金钱成本，无法做快速验证。甚至有些客户短期内无法通过内部安全评审，导致整个创新节奏受到严重的影响。
可以看到许多企业的数据都是存在线下，并且使用的存储类型多样，包括各种开源存储（Ceph，lustrure，JuiceFS，CubeFS）和自建存储。在使用公共云计算资源的时候，也存在挑战：
- 数据迁云安全性和成本评估时间长： 对于数据迁移到云存储上，需要安全和存储团队的长时间评估，这会延缓整个上云过程。
- 数据访问适配性差： 比如公共云对于弹性计算实例（ECI）支持的分布式存储类型有限（比如 NAS，OSS，CPFS），但是对于第三方存储缺乏支持。
- 接入云平台周期长和难度高： 需要开发和维护云原生兼容的 CSI 插件，一方面需要相关的专家和开发适配工程量，同时要维护版本的升级，同时支持的场景有限。比如自建 CSI 无法适配弹性计算实例（ECI）。
- 缺乏可信透明的数据接入方式： 如何在 Serverless 容器的黑盒系统访问数据过程中规避泄露，如何确保数据在传输、访问过程中安全，透明，可靠。
- 避免业务修改的需求： 如何确保业务用户不感知基础设施层面的差异，避免对现有应用本身进行任何修改。
ACK Fluid 通过提供 ThinRuntime 扩展机制支持将基于 FUSE 实现第三方存储客户端以容器化的方式接入 Kubernetes 中，可以支持阿里云上标准 Kubernetes，边缘 Kubernetes，Serverless Kubernetes 多种形态。
- 简单的开发接入模式，易扩展： 基于 ThinRuntime 方案，只需要了解 Dockerfile 构建就可以完成，一般开发工作 2-3 小时左右，从而显著降低了接入第三方存储的工作成本。同时基于开源 Fluid 标准对于 ThinRuntime 提供了完整的支持，只要满足开源要求就可以适配。
- 安全可控的数据访问： 以容器化的方式支持自定义方式实现数据访问。整个数据访问过程云平台无侵入，无需提供实现细节。
- 无降低改造适配的成本： 只需要在 PVC 中添加特定 label 即可，满足了业务用户无需感知基础设施层面的差异的需求，能将存储适配时间缩短为原计划的十分之一。
- 存储客户端的自适应部署： Fluid 同时支持 CSI 和 FUSE Sidecar 两种客户端部署模式，根据所在运行平台选择合适的部署模式，将 PVC 协议转换成 Sidecar 模式，无需最终用户感知。
- 增强可观测性和可控制性： 第三方存储客户端只需要实现自身的容器化，就可以转化为 Fluid 管理的 Pod，无缝接入 Kubernetes 体系，并获得可观测性和计算资源可控制性。
总结：ACK Fluid 为云上计算访问云下数据提供了扩展性好，安全可控，低适配成本和与云平台实现无关的好处，应用案例参见小米 [ 1] 。
演示
以开源 MinIO 为例，展示如何通过 Fluid 将第三方存储接入阿里云弹性计算资源（ECI）。
1. 前提条件
- 已创建 ACK Pro 版集群，且集群版本为 1.18 及以上。具体操作，请参见创建 ACK Pro 版集群 [ 2] 。
- 已安装云原生 AI 套件并部署 ack-fluid 组件。重要：若您已安装开源 Fluid，请卸载后再部署 ack-fluid 组件。
- 未安装云原生 AI 套件：安装时开启 Fluid 数据加速。具体操作，请参见安装云原生 AI 套件 [ 3] 。
- 已安装云原生 AI 套件：在容器服务管理控制台的云原生 AI 套件页面部署 ack-fluid。
- 已部署 ACK 虚拟节点（Virtual Node）。具体操作，请参见通过部署 ACK 虚拟节点组件创建 ECI Pod [ 4] 。
- 已通过 kubectl 连接 ACK 集群。具体操作，请参见通过 kubectl 工具连接集群 [ 5] 。
2. 准备MinIO环境
部署 Minio 存储到 ACK 集群中。
如下 YAML 文件 minio.yaml：
apiVersion: v1
kind: Service
metadata:
name: minio
spec:
type: ClusterIP
ports:
- port: 9000
targetPort: 9000
protocol: TCP
selector:
app: minio
---
apiVersion: apps/v1 # for k8s versions before 1.9.0 use apps/v1beta2 and before 1.8.0 use extensions/v1beta1
kind: Deployment
metadata:
# This name uniquely identifies the Deployment
name: minio
spec:
selector:
matchLabels:
app: minio
strategy:
type: Recreate
template:
metadata:
labels:
# Label is used as selector in the service.
app: minio
spec:
containers:
- name: minio
# Pulls the default Minio image from Docker Hub
image: bitnami/minio
env:
# Minio access key and secret key
- name: MINIO_ROOT_USER
value: "minioadmin"
- name: MINIO_ROOT_PASSWORD
value: "minioadmin"
- name: MINIO_DEFAULT_BUCKETS
value: "my-first-bucket:public"
ports:
- containerPort: 9000
hostPort: 9000
部署上述资源到 ACK 集群：
$ kubectl create -f minio.yaml
部署成功后，ACK 集群内的其他 Pod 即可通过 http://minio:9000的Minio API 端点访问 Minio 存储系统中的数据。上述 YAML 配置中，我们设置 Minio 的用户名与密码均为 minioadmin，并在启动 Minio 存储时默认创建一个名为 my-first-bucket 的存储桶，在接下来的示例中，我们将会访问 my-first-bucket 这个存储桶中的数据。在执行以下步骤前，首先执行以下命令，在 my-first-bucket 中存储示例文件：
$ kubectl exec -it minio-69c555f4cf-np59j -- bash -c "echo fluid-minio-test > testfile"
$ kubectl exec -it minio-69c555f4cf-np59j -- bash -c "mc cp ./testfile local/my-first-bucket/"
$ kubectl exec -it minio-69c555f4cf-np59j -- bash -c "mc cat local/my-first-bucket/testfile"
fluid-minio-test
3. 集群管理员将 MinIO 接入 Fluid 的开发和部署过程
作为一个 MinIO 存储管理员，接入 Fluid 的工作主要是三个步骤，以下调试过程可以在开源 Kubernetes 中完成：
- 开发和构建 MinIO 容器镜像
- 开发和部署 MinIO 的 RuntimeProfile
- 创建访问 MinIO 的 Fluid 数据集，并且生成对应的数据卷
3.1. 容器镜像的开发和构建
Fluid 将会把 ThinRuntime 中 FUSE 所需的运行参数、Dataset 中描述数据路径的挂载点等参数传入到 ThinRuntime FUSE Pod 容器中。在容器内部，需要执行参数解析脚本，并将解析完的运行时参数传递给 FUSE 客户端程序，由客户端程序完成 Fuse 文件系统在容器内的挂载。
因此，使用 ThinRuntime CRD 描述存储系统时，需要使用特制的容器镜像，镜像中需要包括以下两个程序：
- FUSE 客户端程序
- FUSE 客户端程序所需的运行时参数解析脚本
对于 FUSE 客户端程序，在本示例中选择 S3 协议兼容的 goofys 客户端连接并挂载 minio 存储系统。
对于运行时所需的参数解析脚本，定义如下 python 脚本 fluid-config-parse.py：
import json
with open("/etc/fluid/config.json", "r") as f:
lines = f.readlines()
rawStr = lines[0]
print(rawStr)
script = """
#!/bin/sh
set -ex
export AWS_ACCESS_KEY_ID=`cat $akId`
export AWS_SECRET_ACCESS_KEY=`cat $akSecret`
mkdir -p $targetPath
exec goofys -f --endpoint "$url" "$bucket" $targetPath
"""
obj = json.loads(rawStr)
with open("mount-minio.sh", "w") as f:
f.write("targetPath=\"%s\"\n" % obj['targetPath'])
f.write("url=\"%s\"\n" % obj['mounts'][0]['options']['minio-url'])
if obj['mounts'][0]['mountPoint'].startswith("minio://"):
f.write("bucket=\"%s\"\n" % obj['mounts'][0]['mountPoint'][len("minio://"):])
else:
f.write("bucket=\"%s\"\n" % obj['mounts'][0]['mountPoint'])
f.write("akId=\"%s\"\n" % obj['mounts'][0]['options']['minio-access-key'])
f.write("akSecret=\"%s\"\n" % obj['mounts'][0]['options']['minio-access-secret'])
f.write(script)
上述 python 脚本按以下步骤执行：
- 读取 /etc/fluid/config.json 文件中的 json 字符串，Fluid 会将 Fuse 客户端挂载所需的参数存储并挂载到 Fuse 容器的 /etc/fluid/config.json 文件。
- 解析 json 字符串，从中提取 Fuse 客户端挂载所需的参数。例如，上述示例中的 url、bucket、minio-access-key、minio-access-secret 等参数。
- 提取出所需参数后，输出挂载脚本到文件 mount-minio.sh。
⚠️注意： 在 Fluid 中，/etc/fluid/config.json 文件中仅会提供各个加密参数具体值的存储路径，因此需要参数解析脚本额外执行文件读取操作（例如：上述示例中的 "export AWS_ACCESS_KEY_ID=cat $akId"）。
接着，使用如下 Dockerfile 制作镜像，这里我们直接选择包含 goofys 客户端程序的镜像（i.e. cloudposse/goofys）作为 Dockerfile 的基镜像：
FROM cloudposse/goofys
RUN apk add python3 bash
COPY ./fluid-config-parse.py /fluid-config-parse.py
使用以下命令构建并推送镜像到镜像仓库：
$ IMG_REPO=<your image repo>
$ docker build -t $IMG_REPO/fluid-minio-goofys:demo .
$ docker push $IMG_REPO/fluid-minio-goofys:demo
3.2. 开发和部署 MinIO 的 ThinRuntimeProfile
在创建 Fluid Dataset 和 ThinRuntime 挂载 Minio 存储系统前，首先需要开发 ThinRuntimeProfile CR 资源。ThinRuntimeProfile 是一种 Kubernetes 集群级别的 Fluid CRD 资源，它描述了一类需要与 Fluid 对接的存储系统的基础配置（例如：容器、计算资源描述信息等）。集群管理员需提前在集群中定义若干 ThinRuntimeProfile CR 资源，在这之后，集群用户需要显示声明引用一个 ThinRuntimeProfile CR 来创建 ThinRuntime，从而完成对应存储系统的挂载。
以下为 MinIO 存储系统的 ThinRuntimeProfile CR 示例（profile.yaml）:
apiVersion: data.fluid.io/v1alpha1
kind: ThinRuntimeProfile
metadata:
name: minio
spec:
fileSystemType: fuse
fuse:
image: $IMG_REPO/fluid-minio-goofys
imageTag: demo
imagePullPolicy: IfNotPresent
command:
- sh
- -c
- "python3 /fluid-config-parse.py && chmod u+x ./mount-minio.sh && ./mount-minio.sh"
在上述 CR 示例中：
- fileSystemType 描述了 ThinRuntime FUSE 所挂载的文件系统类型 (fsType)。需要根据使用的存储系统 Fuse 客户端程序填写，例如，goofys 挂载的挂载点 fsType为fuse，s3fs 挂载的挂载点 fsType 为 fuse.s3fs）
- fuse 描述了 ThinRuntime FUSE 的容器信息，包括镜像信息 (image、imageTag、imagePullPolicy) 以及容器启动命令 (command) 等。
创建 ThinRuntimeProfile CR minio 并且部署到 ACK 集群。
3.3. 创建 Dataset 和 ThinRuntime CR 来挂载访问 Minio 存储系统中的数据。
创建访问 minio 所需的凭证 Secret：
$ kubectl create secret generic minio-secret \
--from-literal=minio-access-key=minioadmin \
--from-literal=minio-access-secret=minioadmin
创建 Dataset 和 ThinRuntime CR 的示例（dataset.yaml），目的是生成用户可用的存储数据卷：
apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
name: minio-demo
spec:
mounts:
- mountPoint: minio://my-first-bucket # minio://<bucket name>
name: minio
options:
minio-url: http://minio:9000 # minio service <url>:<port>
encryptOptions:
- name: minio-access-key
valueFrom:
secretKeyRef:
name: minio-secret
key: minio-access-key
- name: minio-access-secret
valueFrom:
secretKeyRef:
name: minio-secret
key: minio-access-secret
---
apiVersion: data.fluid.io/v1alpha1
kind: ThinRuntime
metadata:
name: minio-demo
spec:
profileName: minio
- Dataset.spec.mounts[*].mountPoint 指定所需访问的数据桶 (e.g. my-frist-bucket)
- Dataset.spec.mounts[*].options.minio-url 指定 minio 在集群可访问的 URL（e.g. http://minio:9000）
- ThinRuntime.spec.profileName 指定已创建的 ThinRuntimeProfile（e.g. minio-profile）
创建 Dataset 和 ThinRuntime CR：
$ kubectl create -f dataset.yaml
检查 Dataset 状态，一段时间后，可发现 Dataset 和 Phase 状态变为 Bound，Dataset 可正常挂载使用：
$ kubectl get dataset minio-demo
NAME UFS TOTAL SIZE CACHED CACHE CAPACITY CACHED PERCENTAGE PHASE AGE
minio-demo N/A N/A N/A Bound 2m18s
4. 最终用户使用 ECI（弹性容器实例）直接通过 PVC（数据卷申请）直接访问 MinIO
对于最终用户来说，访问 MinIO 的过程是非常简单的。以下为示例 Pod Spec 的 YAML 文件（pod.yaml），用户只需要使用和 Dataset 同名的 PVC：
apiVersion: v1
kind: Pod
metadata:
name: test-minio
labels:
alibabacloud.com/fluid-sidecar-target: eci
alibabacloud.com/eci: "true"
spec:
restartPolicy: Never
containers:
- name: app
image: nginx:latest
command: ["bash"]
args:
- -c
- ls -lh /data && cat /data/testfile && sleep 180
volumeMounts:
- mountPath: /data
name: data-vol
volumes:
- name: data-vol
persistentVolumeClaim:
claimName: minio-demo
- alibabacloud.com/fluid-sidecar-target=eci 标识了需要启用 ACK Fluid 对于 ECI 的特定支持
- alibabacloud.com/eci 表示在 ACK 中调度到 ECI 对应的虚拟节点
创建数据访问Pod：
$ kubectl create -f pod.yaml
查看数据访问 Pod 结果：
$ kubectl logs test-minio -c app
total 512
-rw-r--r-- 1 root root 6 Aug 15 12:32 testfile
fluid-minio-test
可以看到，Pod test-minio 可正常访问 Minio 存储系统中的数据。
5. 环境清理
$ kubectl delete -f pod.yaml
$ kubectl delete -f dataset.yaml
$ kubectl delete -f profile.yaml
$ kubectl delete -f minio.yaml
⚠️注意
本示例用于展示整个数据接入流程，相关的 MinIO 环境配置仅作为演示目的。相关链接： [1] 小米*****https://www.infoq.cn/article/kco7hi5TcVE08ySwNIw7*
[2] 创建 ACK Pro 版集群
[3] 安装云原生 AI 套件*****https://help.aliyun.com/zh/ack/cloud-native-ai-suite/user-guide/deploy-the-cloud-native-ai-suite#task-2038811*
[4] 通过部署 ACK 虚拟节点组件创建 ECI Pod
https://help.aliyun.com/zh/ack/ack-managed-and-ack-dedicated/user-guide/deploy-the-virtual-node-controller-and-use-it-to-create-elastic-container-instance-based-pods#task-1443354[5] 通过 kubectl 工具连接集群****
