K8S 有状态的应用和示例：Cassandra
本教程描述拉如何在 Kubernetes 上运行 Apache Cassandra。 数据库 Cassandra 需要永久性存储提供数据持久性（应用 状态）。 在此示例中，自定义 Cassandra seed provider 使数据库在加入 Cassandra 集群时发现新的 Cassandra 实例。
使用 StatefulSets 可以更轻松地将有状态的应用程序部署到你的 Kubernetes 集群中。 有关本教程中使用的功能的更多信息， 参阅 StatefulSet。
说明：
Cassandra 和 Kubernetes 都使用术语 node 来表示集群的成员。 在本教程中，属于 StatefulSet 的 Pod 是 Cassandra 节点，并且是 Cassandra 集群的成员（称为 ring）。 当这些 Pod 在你的 Kubernetes 集群中运行时，Kubernetes 控制平面会将这些 Pod 调度到 Kubernetes 的 节点上。
当 Cassandra 节点启动时，使用 seed列表 来引导发现 ring 中其他节点。 本教程部署了一个自定义的 Cassandra seed provider，使数据库可以发现新的 Cassandra Pod 出现在 Kubernetes 集群中。
一、教程目标
- 创建并验证 Cassandra 无头（headless）Service..
- 使用 StatefulSet 创建一个 Cassandra ring。
- 验证 StatefulSet。
- 修改 StatefulSet。
- 删除 StatefulSet 及其 Pod.
二、准备开始
你必须拥有一个 Kubernetes 的集群，同时你的 Kubernetes 集群必须带有 kubectl 命令行工具。
如果你还没有集群，参考 用 kubeadm 在 Debian 或 Ubuntu 中创建 k8s 集群。
要完成本教程，你应该已经熟悉 Pod， Service和 StatefulSet。
三、教程
1 为 Cassandra 创建无头（headless） Services
在 Kubernetes 中，一个 Service 描述了一组执行相同任务的 Pod。
以下 Service 用于在 Cassandra Pod 和集群中的客户端之间进行 DNS 查找：
cassandra-service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
app: cassandra
name: cassandra
spec:
clusterIP: None
ports:
- port: 9042
selector:
app: cassandra
创建一个 Service 来跟踪 cassandra-service.yaml 文件中的所有 Cassandra StatefulSet：
kubectl apply -f ./cassandra-service.yaml
1.1 验证（可选）
获取 Cassandra Service。
kubectl get svc cassandra
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
cassandra ClusterIP None <none> 9042/TCP 3s
如果没有看到名为 cassandra 的服务，则表示创建失败。 请阅读Debug Services，以解决常见问题。
2 使用 StatefulSet 创建 Cassandra Ring
下面包含的 StatefulSet 清单创建了一个由三个 Pod 组成的 Cassandra ring。
cassandra-statefulset.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: cassandra-pv-1
labels:
type: local
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteOnce
hostPath:
path: "/tmp"
apiVersion: v1
kind: PersistentVolume
metadata:
name: cassandra-pv-3
labels:
type: local
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteOnce
hostPath:
path: "/tmp"
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: cassandra
labels:
app: cassandra
spec:
serviceName: cassandra
replicas: 3
selector:
matchLabels:
app: cassandra
template:
metadata:
labels:
app: cassandra
spec:
terminationGracePeriodSeconds: 1800
containers:
- name: cassandra
image: registry.cn-hangzhou.aliyuncs.com/google_samples_thepoy/cassandra:v13
imagePullPolicy: Always
ports:
- containerPort: 7000
name: intra-node
- containerPort: 7001
name: tls-intra-node
- containerPort: 7199
name: jmx
- containerPort: 9042
name: cql
resources:
limits:
cpu: "500m"
memory: 1Gi
requests:
cpu: "500m"
memory: 1Gi
securityContext:
capabilities:
add:
- IPC_LOCK
lifecycle:
preStop:
exec:
command:
- /bin/sh
- -c
- nodetool drain
env:
- name: MAX_HEAP_SIZE
value: 512M
- name: HEAP_NEWSIZE
value: 100M
- name: CASSANDRA_SEEDS
value: "cassandra-0.cassandra.default.svc.cluster.local"
- name: CASSANDRA_CLUSTER_NAME
value: "K8Demo"
- name: CASSANDRA_DC
value: "DC1-K8Demo"
- name: CASSANDRA_RACK
value: "Rack1-K8Demo"
- name: POD_IP
valueFrom:
fieldRef:
fieldPath: status.podIP
readinessProbe:
exec:
command:
- /bin/bash
- -c
- /ready-probe.sh
initialDelaySeconds: 15
timeoutSeconds: 5
# These volume mounts are persistent. They are like inline claims,
# but not exactly because the names need to match exactly one of
# the stateful pod volumes.
volumeMounts:
- name: cassandra-data
mountPath: /cassandra_data
# These are converted to volume claims by the controller
# and mounted at the paths mentioned above.
# do not use these in production until ssd GCEPersistentDisk or other ssd pd
volumeClaimTemplates:
- metadata:
name: cassandra-data
spec:
accessModes: [ "ReadWriteOnce" ]
resources:
requests:
storage: 1Gi
3 验证 Cassandra StatefulSet
- 获取 Cassandra StatefulSet:
kubectl get statefulset cassandra
结果：
NAME READY AGE
cassandra 3/3 14m
StatefulSet 资源会按顺序部署 Pod。
-
获取 Pod 查看已排序的创建状态：
kubectl get pods -l app=cassandra三个 Pod 要花几分钟的时间才能部署。部署之后，相同的命令将返回类似于以下的输出：
NAME READY STATUS RESTARTS AGE cassandra-0 1/1 Running 0 15m cassandra-1 1/1 Running 0 14m cassandra-2 1/1 Running 0 13m -
运行第一个 Pod 中的 Cassandra nodetool，以显示 ring 的状态。
kubectl exec -it cassandra-0 -- nodetool status结果：
Datacenter: DC1-K8Demo ====================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.244.1.20 70.88 KiB 32 65.9% 2c20de58-2680-4edd-b651-d83e73219a05 Rack1-K8Demo UN 10.244.2.16 108.87 KiB 32 69.6% 7fb488d6-5fce-4e82-bfb7-0ac34ddea61d Rack1-K8Demo UN 10.244.3.17 104.55 KiB 32 64.5% fc9be49a-5fbc-454e-b244-cc7e8b736ca2 Rack1-K8Demo
4 修改 Cassandra StatefulSet
使用 kubectl edit 修改 Cassandra StatefulSet 的大小。
-
运行以下命令：
kubectl edit statefulset cassandra此命令你的终端中打开一个编辑器，修改的就是你之前 apply 的那个配置文件。如果你没有修改过，那么需要更改的是第 51 行的
replicas字段，将其值修改为 4，:x保存退出。集群会自动应用以此方法修改的配置文件，StatefulSet 将会扩展为 4 个 Pod。
但之前只创建了 3 个 PersistentVolume，每个 Pod 都需要绑定一个 PersistentVolume，所以还需要再手动创建一个 PersistentVolume：
apiVersion: v1 kind: PersistentVolume metadata: name: cassandra-pv-4 labels: type: local spec: capacity: storage: 1Gi accessModes: - ReadWriteOnce hostPath: path: "/tmp" -
获取 Cassandra StatefulSet 验证更改：
kubectl get statefulset cassandra结果：
NAME DESIRED CURRENT AGE cassandra 4 4 36m
5 删除本示例
出于安全考虑，在删除或缩小 StatefulSet 时不会删除与 StatefulSet 关联的卷，因为你的数据更有价值。
⚠️警告： 根据存储类和回收策略，删除 PersistentVolumeClaims 可能导致关联的卷也被删除。 千万不要认为其容量声明被删除，你就能访问数据。
运行以下命令（连在一起成为一个单独的命令）删除 Cassandra StatefulSet 中的所有内容：
grace=$(kubectl get pod cassandra-0 -o=jsonpath='{.spec.terminationGracePeriodSeconds}') \
&& kubectl delete statefulset -l app=cassandra \
&& echo "Sleeping ${grace} seconds" 1>&2 \
&& sleep $grace \
&& kubectl delete persistentvolumeclaim -l app=cassandra
运行以下命令，删除你为 Cassandra 设置的 Service：
kubectl delete service -l app=cassandra
6 Cassandra 容器环境变量
本教程中的 Pod 使用来自 Google container registry 的 gcr.io/google-samples/cassandra:v13 镜像（我把这个镜像 Push 到了阿里云容器镜像）。 上面的 Docker 镜像基于 debian-base，并且包含 OpenJDK 8。
该镜像包括来自 Apache Debian 存储库的标准 Cassandra 安装。 通过使用环境变量，您可以更改插入到 cassandra.yaml 中的值。
| Environment variable | Default value |
|---|---|
| CASSANDRA_CLUSTER_NAME | 'Test Cluster' |
| CASSANDRA_NUM_TOKENS | 32 |
| CASSANDRA_RPC_ADDRESS | 0.0.0.0 |
