kubernetes高级资源之污点和容忍
一、介绍
# Kubernetes 高级资源：污点(Taints)和容忍(Tolerations)
## 污点(Taints)的作用
污点是节点(Node)的一个属性，它允许节点排斥一组特定的Pod。主要作用包括：
1. **节点专用**：确保某些节点只运行特定类型的Pod
- 例如：保留带有GPU的节点只运行机器学习工作负载
2. **节点隔离**：
- 维护节点时，可以给节点添加污点以防止新Pod被调度到该节点
- 隔离问题节点，防止Pod被调度到不健康的节点上
3. **特殊硬件保留**：
- 为具有特殊硬件(如SSD、GPU)的节点添加污点
- 只有声明了相应容忍的Pod才能使用这些特殊资源
4. **多租户隔离**：
- 在不同团队或项目间划分集群资源
## 容忍(Tolerations)的作用
容忍是Pod的一个属性，它允许(但不强制要求)Pod被调度到带有匹配污点的节点上。主要作用包括：
1. **访问专用节点**：
- 允许特定Pod调度到带有污点的专用节点上
- 例如：只有机器学习工作负载能使用GPU节点
2. **应对节点维护**：
- 关键Pod可以容忍"NoSchedule"污点，确保在节点维护期间仍能运行
3. **处理节点问题**：
- 关键系统Pod可以容忍"NoExecute"污点，即使节点出现问题也不被驱逐
4. **多租户资源共享**：
- 允许高优先级工作负载使用为其他团队保留的资源
## 污点效果类型
1. **NoSchedule**：
- 不会调度不容忍此污点的Pod到该节点
- 已运行的Pod不受影响
2. **PreferNoSchedule**：
- 尽量不调度不容忍此污点的Pod到该节点
- 如果没有其他可用节点，仍可能调度
3. **NoExecute**：
- 不会调度不容忍此污点的Pod到该节点
- 已运行但不容忍此污点的Pod会被驱逐
## 使用示例
为节点添加污点：
```bash
kubectl taint nodes node1 key=value:NoSchedule
```
Pod中的容忍配置：
```yaml
tolerations:
- key: "key"
operator: "Equal"
value: "value"
effect: "NoSchedule"
```
污点和容忍机制共同工作，为Kubernetes集群提供了精细的Pod调度控制能力，是生产环境中实现资源隔离和优先级调度的重要工具。
二、实战部署
[root@master ~]# kubectl taint node node1 cjr=yyj:NoSchedule
node/node1 tainted
[root@master ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
master Ready control-plane 120m v1.31.3
node1 Ready <none> 119m v1.31.3
node2 Ready <none> 119m v1.31.3
[root@master ~]# kubectl describe node node1 | grep Taint
Taints: cjr=yyj:NoSchedule
[root@master ~]# kubectl apply -f tomcat.tar.gz
error: error parsing tomcat.tar.gz: invalid Yaml document separator: %s ping statistics ---
[root@master ~]# kubectl apply -f pod-taint.yaml
pod/taint-pod created
[root@master ~]# kubectl get pod -owide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
myapp3 1/1 Running 0 40m 10.244.166.145 node1 <none> <none>
myapp4 1/1 Running 0 40m 10.244.166.146 node1 <none> <none>
taint-pod 1/1 Running 0 4s 10.244.104.9 node2 <none> <none>
[root@master ~]# cat pod-taint.yaml
apiVersion: v1
kind: Pod
metadata:
name: taint-pod
namespace: default
labels:
tomcat: tomcat-pod
spec:
containers:
- name: taint-pod
ports:
- containerPort: 8080
image: tomcat:8.5-jre8-alpine
imagePullPolicy: IfNotPresent
[root@master ~]# kubectl taint node node2 c=y:NoExecute
node/node2 tainted
[root@master ~]# kubectl get pod -owide -w
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
myapp3 1/1 Running 0 41m 10.244.166.145 node1 <none> <none>
myapp4 1/1 Running 0 41m 10.244.166.146 node1 <none> <none>
taint-pod 1/1 Running 0 6s 10.244.104.10 node2 <none> <none>
taint-pod 1/1 Running 0 102s 10.244.104.10 node2 <none> <none>
taint-pod 1/1 Terminating 0 102s 10.244.104.10 node2 <none> <none>
taint-pod 1/1 Terminating 0 102s 10.244.104.10 node2 <none> <none>
taint-pod 1/1 Terminating 0 102s 10.244.104.10 node2 <none> <none>
taint-pod 0/1 Error 0 102s 10.244.104.10 node2 <none> <none>
taint-pod 0/1 Error 0 103s 10.244.104.10 node2 <none> <none>
taint-pod 0/1 Error 0 103s 10.244.104.10 node2 <none> <none>
[root@node1 ~]# kubectl describe node node1 | grep Taints
Taints: cjr=yyj:NoSchedule
[root@node1 ~]# kubectl describe node node2 | grep Taints
Taints: cjr=yyj:NoExecute
[root@master ~]# vi pod-taint.yaml
apiVersion: v1
kind: Pod
metadata:
name: taint-pod
namespace: default
labels:
tomcat: tomcat-pod
spec:
containers:
- name: taint-pod
ports:
- containerPort: 8080
image: tomcat:8.5-jre8-alpine
imagePullPolicy: IfNotPresent
tolerations:
- effect: NoSchedule
key:
value:
operator: Exists
[root@master ~]# kubectl get pod -owide -w
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
myapp3 1/1 Running 0 61m 10.244.166.145 node1 <none> <none>
myapp4 1/1 Running 0 61m 10.244.166.146 node1 <none> <none>
taint-pod 1/1 Running 0 10s 10.244.166.150 node1 <none> <none>
[root@master ~]# vi pod-taint.yaml
apiVersion: v1
kind: Pod
metadata:
name: taint-pod
namespace: default
labels:
tomcat: tomcat-pod
spec:
containers:
- name: taint-pod
ports:
- containerPort: 8080
image: tomcat:8.5-jre8-alpine
imagePullPolicy: IfNotPresent
tolerations:
- effect: NoExecute
key: cjr
value: yyj
operator: Equal
root@master ~]# kubectl get pod -owide -w
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
myapp3 1/1 Running 0 62m 10.244.166.145 node1 <none> <none>
myapp4 1/1 Running 0 62m 10.244.166.146 node1 <none> <none>
taint-pod 1/1 Running 0 12s 10.244.104.12 node2 <none> <none>
三、总结
# Kubernetes污点(Taints)和容忍(Tolerations)实验总结
## 实验过程回顾
1. **初始节点状态**：
- 集群有3个节点：master(control-plane)、node1和node2
- 初始状态下节点没有污点
2. **添加污点**：
- 给node1添加`NoSchedule`污点：`cjr=yyj:NoSchedule`
- 给node2添加`NoExecute`污点：`c=y:NoExecute`
3. **Pod调度行为观察**：
- 未配置容忍的Pod无法调度到node1(NoSchedule效果)
- 已运行在node2的Pod被立即驱逐(NoExecute效果)
4. **添加容忍测试**：
- 首先添加通用容忍(`operator: Exists`)，Pod可调度到node1
- 然后添加精确匹配的容忍(`key: cjr, value: yyj, operator: Equal`)，Pod可调度到node2
## 关键结论
1. **污点效果差异**：
- `NoSchedule`：只影响新Pod调度，不影响已运行Pod
- `NoExecute`：既影响新Pod调度，也会驱逐已运行的不容忍Pod
2. **容忍配置方式**：
- **宽松容忍**：使用`operator: Exists`可容忍任意污点(不指定key/value)
- **精确匹配**：使用`operator: Equal`并指定key/value可针对特定污点
3. **调度优先级**：
- 当Pod同时满足节点选择条件和容忍条件时才会被调度
- 容忍只是"允许"而非"强制"调度到污点节点
4. **生产环境建议**：
- 对关键系统组件(如DaemonSet)配置适当的容忍
- 谨慎使用`NoExecute`，可能导致服务中断
- 为专用节点设计清晰的污点命名规范
## 示例配置解析
```yaml
# 精确匹配容忍配置示例
tolerations:
- key: "cjr"
operator: "Equal"
value: "yyj"
effect: "NoExecute"
# 宽松容忍配置示例
tolerations:
- operator: "Exists"
effect: "NoSchedule"
```
通过本次实验，清晰演示了污点和容忍如何协同工作控制Pod调度，这是Kubernetes高级调度策略的重要组成部分。