一、Job与CronJob概念与与原理解读
Job 控制器用于管理 Pod 对象运行一次性任务,比方说我们对数据库备份,可以直接在 k8s 上启动一个 mysqldump 备份程序,也可以启动一个 pod,这个 pod 专门用来备份用的,备份结束 pod 就可以终止了,不需要重启,而是将 Pod 对象置于"Completed"(完成)状态,
若容器中的进程因错误而终止,则需要按照重启策略配置确定是否重启,对于 Job 这个类型的控制器来说,需不需要重建 pod 就看任务是否完成,完成就不需要重建,没有完成就需要重建 pod。 Job 控制器的 Pod 对象的状态转换如下图所示:
0:完成状态、非0:错误状态;以非0状态码退出就会重启pod
1.1 Job三种使用场景
1、非并行任务:只启一个 pod,pod 成功,job 正常结束
2、并行任务同时指定成功个数:.spec.completions 为指定成功个数,可以指定也可以不指定.spec.parallelism(指定>1,会有多个任务并行运行)。当成功个数达到.spec.completions,任务结束。
3、有工作队列的并行任务:.spec.completions 默认1,.spec.parallelism 为大于 0 的整数。此时并行启动多个 pod,只要有一个成功,任务结束,所有 pod 结束
1.2 适用场景
Job 不是设计用来完成通信密集型的并行程序,如科学计算领域常见的场景。它支持并行地处理一组独立但相关的 work item,如发送邮件,渲染帧,转码文件和扫描 NoSql 数据库中的 key
kubectl explain Job.spec
相关配置:
.spec.completions:完成该 Job 需要执行成功的 Pod 数
.spec.parallelism:能够同时运行的 Pod 数
.spec.backoffLimit:允许执行失败的 Pod 数,默认值是 6,0 表示不允许 Pod 执行失败。如果Pod 是 restartPolicy 为 Nerver,则失败后会创建新的 Pod,如果是 OnFailed,则会重启 Pod,不管是哪种情况,只要 Pod 失败一次就计算一次,
而不是等整个 Pod 失败后再计算一个。当失败的次数达到该限制时,整个 Job 随即结束,所有正在运行中的 Pod 都会被删除。
.spec.activeDeadlineSeconds: Job 的超时时间,一旦一个 Job 运行的时间超出该限制,则 Job失败,所有运行中的 Pod 会被结束并删除。该配置指定的值必须是个正整数。不指定则不会超时
1.3 CronJob 概念、原理解读
CronJob 跟 Job 完成的工作是一样的,只不过 CronJob 添加了定时任务能力可以指定时间,实现周期性运行。Job,CronJob 和 Deployment,DaemonSet 显著区别在于不需要持续在后台运行
Deployment 主要用于管理无状态的应用(kubernetes 集群有一些 pod,某一个 pod 出现故障, 删除之后会重新启动一个 pod,那么 kubernetes 这个集群中 pod 数量就正常了,更多关注的是群体, 这就是无状态应用)。
使用场景:
1、在给定时间点只运行一次。
2、在给定时间点周期性地运行。
CronJob 的典型用法如下:
1、在给定的时间点调度 Job 运行。
2、创建周期性运行的 Job,例如数据库备份、发送邮件
二、Job控制器-资源清单编写技巧
# 查看Job资源对象由哪几部分组成 [root@master dmgame]# kubectl explain Job KIND: Job VERSION: batch/v1 FIELDS: apiVersion <string> kind <string> metadata <Object> #元数据,定义资源的名字和所在名称空间 spec <Object> status <Object> #查看 Job 下的 spec 字段 [root@master dmgame]# kubectl explain Job.spec FIELDS: activeDeadlineSeconds <integer> #通过指定job 存活时间,来结束一个 job。当 job 运行时间达到 activeDeadlineSeconds 指定的时间后,job 会停止由它启动的所有任务(如:pod),并设置 job 的状态为 failed backoffLimit <integer> #job 建议指定 pod 的重启策略为 never,如:.spec.template.spec.restartPolicy = "Never",然后通过 job 的 backoffLimit 来指定失败重试次数,在达到 backoffLimit 指定的次数后,
job 状态设置为 failed(默认为 6 次) completionMode <string> completions <integer> #指定job 启动的任务(如:pod)成功运行 completions 次,job 才算成功结束 manualSelector <boolean> parallelism <integer> #指定job 同时运行的任务(如:pod)个数,Parallelism 默认为 1, 如果设置为 0,则 job 会暂定 podFailurePolicy <Object> selector <Object> suspend <boolean> template <Object> -required- ttlSecondsAfterFinished <integer> #默认情况下,job 异常或者成功结束后,包括 job 启动的任务(pod),都不会被清理掉,因为你可以依据保存的 job 和 pod,查看状态、日志,以及调试等。这些用户可以手动删除,
用户手动删除 job,job controller 会级联删除对应的 pod,除了手动删除,通过指定参数 ttlSecondsAfterFinished 也可以实现自动删除 job,以及级联的资源,如:pod。如果设置为 0,job 会被立即删除。如果不指定,job 则不会被删除
2.1 实战:Job使用案例-创建一个一次性任务
[root@master ~]# cat job.yaml
apiVersion: batch/v1
kind: Job
metadata:
name: my-busybox-job
spec:
completions: 6 # job 结束需要成功运行的 Pod 个数,即状态为 Completed 的 pod 数
parallelism: 3 # 一次运行3个pod,这个值不会超过Completed个数
backoffLimit: 6 # 如果job失败,重试次数
template:
metadata:
labels:
app: test
spec:
restartPolicy: Never
containers:
- name: my-container-job
image: busybox
imagePullPolicy: IfNotPresent
command: ['sh', '-c']
args: ['echo "Welcome to xc";sleep 60; echo "Next to Meet you"']
[root@master ~]# kubectl apply -f job.yaml
job.batch/my-busybox-job created
[root@master ~]# kubectl get pods -l app=test -w
NAME READY STATUS RESTARTS AGE
my-busybox-job-mct9j 0/1 Pending 0 0s
my-busybox-job-mct9j 0/1 Pending 0 1s
my-busybox-job-ph6fp 0/1 Pending 0 0s
my-busybox-job-xx2rh 0/1 Pending 0 0s
my-busybox-job-ph6fp 0/1 Pending 0 0s
my-busybox-job-mct9j 0/1 ContainerCreating 0 1s
my-busybox-job-xx2rh 0/1 Pending 0 0s
my-busybox-job-ph6fp 0/1 ContainerCreating 0 0s
my-busybox-job-xx2rh 0/1 ContainerCreating 0 0s
my-busybox-job-xx2rh 0/1 ContainerCreating 0 0s
my-busybox-job-mct9j 0/1 ContainerCreating 0 1s
my-busybox-job-ph6fp 0/1 ContainerCreating 0 1s
my-busybox-job-ph6fp 1/1 Running 0 2s
my-busybox-job-xx2rh 1/1 Running 0 2s
my-busybox-job-mct9j 1/1 Running 0 3s
启动了3个pod,completed后又启动了3个
#################################
[root@master ~]# kubectl get pods
NAME READY STATUS RESTARTS AGE
my-busybox-job-4pbc5 1/1 Running 0 44s
my-busybox-job-dwqwm 1/1 Running 0 44s
my-busybox-job-mct9j 0/1 Completed 0 109s
my-busybox-job-ntf9d 1/1 Running 0 44s
my-busybox-job-ph6fp 0/1 Completed 0 108s
my-busybox-job-xx2rh 0/1 Completed 0 108s
[root@master ~]# kubectl logs my-busybox-job-4pbc5
Welcome to xc
Next to Meet you
############################
my-busybox-job-xx2rh 0/1 Completed 0 62s
my-busybox-job-ph6fp 0/1 Completed 0 62s
my-busybox-job-mct9j 0/1 Completed 0 63s
my-busybox-job-xx2rh 0/1 Completed 0 63s
my-busybox-job-ph6fp 0/1 Completed 0 63s
my-busybox-job-mct9j 0/1 Completed 0 64s
my-busybox-job-xx2rh 0/1 Completed 0 64s
my-busybox-job-mct9j 0/1 Completed 0 65s
my-busybox-job-ph6fp 0/1 Completed 0 64s
my-busybox-job-ntf9d 0/1 Pending 0 0s
my-busybox-job-4pbc5 0/1 Pending 0 0s
my-busybox-job-dwqwm 0/1 Pending 0 0s
my-busybox-job-ntf9d 0/1 Pending 0 0s
my-busybox-job-4pbc5 0/1 Pending 0 0s
my-busybox-job-ph6fp 0/1 Completed 0 64s
my-busybox-job-dwqwm 0/1 Pending 0 0s
my-busybox-job-xx2rh 0/1 Completed 0 64s
my-busybox-job-mct9j 0/1 Completed 0 65s
my-busybox-job-ntf9d 0/1 ContainerCreating 0 0s
my-busybox-job-4pbc5 0/1 ContainerCreating 0 0s
my-busybox-job-dwqwm 0/1 ContainerCreating 0 0s
my-busybox-job-ntf9d 0/1 ContainerCreating 0 1s
my-busybox-job-dwqwm 0/1 ContainerCreating 0 1s
my-busybox-job-4pbc5 0/1 ContainerCreating 0 1s
my-busybox-job-4pbc5 1/1 Running 0 2s
my-busybox-job-dwqwm 1/1 Running 0 2s
my-busybox-job-ntf9d 1/1 Running 0 2s
my-busybox-job-4pbc5 0/1 Completed 0 62s
my-busybox-job-dwqwm 0/1 Completed 0 62s
my-busybox-job-ntf9d 0/1 Completed 0 62s
my-busybox-job-dwqwm 0/1 Completed 0 63s
my-busybox-job-ntf9d 0/1 Completed 0 63s
my-busybox-job-4pbc5 0/1 Completed 0 63s
my-busybox-job-4pbc5 0/1 Completed 0 64s
my-busybox-job-dwqwm 0/1 Completed 0 64s
my-busybox-job-ntf9d 0/1 Completed 0 64s
my-busybox-job-ntf9d 0/1 Completed 0 64s
my-busybox-job-dwqwm 0/1 Completed 0 64s
my-busybox-job-4pbc5 0/1 Completed 0 64s
2.2 实战:CronJob使用案例-创建周期性定时任务
[root@master ~]# cat cronjob.yaml apiVersion: batch/v1 kind: CronJob metadata: name: hello spec: schedule: "*/1 * * * *" jobTemplate: spec: template: metadata: labels: app: cro spec: containers: - name: hello image: busybox imagePullPolicy: IfNotPresent command: - /bin/sh - -c - date; echo Hello from the Kubernetes cluster restartPolicy: OnFailure [root@master ~]# kubectl apply -f cronjob.yaml cronjob.batch/hello created [root@master ~]# kubectl get pods NAME READY STATUS RESTARTS AGE hello-28215840-s5kgt 0/1 Completed 0 22s [root@master ~]# kubectl get cronjob -w NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE hello */1 * * * * False 0 <none> 0s hello */1 * * * * False 1 0s 9s hello */1 * * * * False 0 3s 12s hello */1 * * * * False 0 3s 12s [root@master ~]# kubectl get job -w NAME COMPLETIONS DURATION AGE hello-28215840 0/1 0s hello-28215840 0/1 0s 0s hello-28215840 0/1 3s 3s hello-28215840 1/1 3s 3s [root@master ~]# kubectl logs hello-28215840-s5kgt Fri Aug 25 08:00:00 UTC 2023 Hello from the Kubernetes cluster