K8S Job
在Kubernetes中，Job是一个非常重要的资源控制器，用于运行一次性任务或批处理任务。这些任务在完成后通常不需要持续运行，而是执行完毕后即终止。
一、基本概念
Kubernetes Job控制器是用于运行一次性任务的API对象。它负责启动指定数量的Pod，并跟踪这些Pod的状态，直到它们成功完成既定任务。Job通常用于执行那些需要运行一次就结束的任务，比如数据备份、数据转换、批处理作业等。
二、工作原理
- 定义对象：用户定义一个Job对象，指定Pod模板和其他配置选项。
- 调度Pod：Kubernetes根据Job的定义创建Pod，并将这些Pod调度到合适的节点上开始执行任务。
- 监控Pod：Job控制器会监控这些Pod的状态，确保它们成功完成任务。
- 完成任务：当所有Pod都成功完成任务后，Job状态会被标记为Completed。
- 清理资源：完成的Job及对应的Pod会在一定时间后被系统自动清理，以减少资源浪费。
三、相关特性
- 并行执行：Job可以指定并行运行的Pod数量，允许任务并行执行以提高效率。
- 成功计数：Job控制器会跟踪成功完成任务的Pod数量，直到达到用户指定的完成数量。
- 失败重试：Job可以配置重试策略，当Pod失败时可以重新启动新的Pod来尝试完成任务。
- 自动清理：Job完成后，相关的资源（如Pod）会被自动清理。
- 依赖管理：Job可以设置依赖，确保任务按照特定的顺序执行。
- 生命周期管理：Job提供了一种机制来管理任务的生命周期，包括任务的启动、监控、完成和清理。
- 弹性伸缩：可以根据任务的需求动态调整并行执行的Pod数量。
- 监控和日志：可以对Job的执行情况进行监控，并收集相关的日志信息，方便问题排查和性能分析。
四、资源清单示例
以下是一个简单的Job资源清单示例（job.yaml）：
apiVersion: batch/v1
kind: Job
metadata:
name: demo-job
spec:
backoffLimit: 3
completions: 1
parallelism: 1
ttlSecondsAfterFinished: 20
template:
metadata:
labels:
app: demo-job
spec:
restartPolicy: Never
containers:
- name: demo-container
image: busybox
command:
- sh
- -c
- for i in 1 2 3 4 5 6; do echo $i; done
这个示例定义了一个名为demo-job的Job对象，它启动了一个包含busybox镜像的Pod，该Pod执行一个简单的shell脚本，打印数字1到6。backoffLimit设置为3，表示如果Pod运行失败，最多会重新尝试3次。completions和parallelism都设置为1，表示这个Job只需要成功完成一个Pod即可结束，并且这个Pod是串行执行的。ttlSecondsAfterFinished设置为20，表示Job完成后，对应的Pod会在20秒后被自动清理。
五、常用操作
- 创建Job：
kubectl create -f job.yaml
或
kubectl apply -f job.yaml
- 查看Job：
kubectl get job
查看详细信息：
kubectl describe job demo-job
- 删除Job：
kubectl delete job demo-job
或
kubectl delete -f job.yaml
六、配置文件
Kubernetes Job的配置文件（YAML格式）是定义和管理Kubernetes中一次性或批处理任务的关键。以下是一个典型的Kubernetes Job配置文件的示例，该示例涵盖了Job的基本配置项和一些常用字段：
apiVersion: batch/v1
kind: Job
metadata:
name: example-job
spec:
# 并行性：定义Job中可以并行运行的Pod的最大数量
parallelism: 3
# 完成数：定义成功完成的Pod的总数量
completions: 5
# 重试策略：定义Pod失败后的重试次数
backoffLimit: 4
# 活动截止时间（可选）：设置Job的Pod可以运行的最长时间（秒），超过此时间将终止所有Pod
# activeDeadlineSeconds: 100
# 模板部分，定义了Pod的规格
template:
metadata:
name: example-job-pod
labels:
app: example-job
spec:
# 重启策略：对于Job来说，通常设置为Never，因为任务完成或失败后不需要重启
restartPolicy: Never
# 容器列表
containers:
- name: example-container
image: your-container-image # 替换为你的容器镜像
command: ["your-command"] # 替换为你的命令
# 容器资源限制（可选）
# resources:
# requests:
# cpu: "100m"
# memory: "128Mi"
# limits:
# cpu: "250m"
# memory: "256Mi"
# 环境变量（可选）
# env:
# - name: EXAMPLE_VAR
# value: "example-value"
配置文件关键点说明：
- apiVersion: 指定Kubernetes API的版本，对于Job来说，通常是batch/v1。
- kind: 声明这是一个Job资源。
- metadata: 包含Job的元数据，如名称（name）。
- spec: Job的规格说明，包含以下关键子字段：
- parallelism: 定义Job中可以并行运行的Pod的最大数量。
- completions: 定义成功完成的Pod的总数量，达到此数量后Job完成。
- backoffLimit: 定义Pod失败后的重试次数。如果设置为0，则不会重试。
- activeDeadlineSeconds: （可选）设置Job的Pod可以运行的最长时间（秒），超过此时间将终止所有Pod。
- template: 定义Pod的模板，包括Pod的元数据、规格（如重启策略、容器列表等）。
- template.spec.containers: 定义Pod中容器的规格，包括容器镜像、命令、资源限制等。
注意事项：
- 在实际使用中，需要根据具体任务的需求来配置这些字段。
- 如果任务不适合并行执行，可以将parallelism字段省略或设置为1，这样Job将按顺序执行任务。
- restartPolicy对于Job来说，通常设置为Never，因为Job中的Pod在任务完成后应该自动退出，不需要重启。
- 根据需要，还可以配置容器的资源限制、环境变量等。