当前位置: 首页 > article >正文

k8s worker 节点关机 sts 管理的 pod 无法迁移

背景

1.28.2 版本 k8s 中的一台 worker 节点内存异常,需要关机换内存,正好可以测试一下 pod 的迁移。

发现

deployment 管理的 pod 是能够重新创建飘到其他节点上的,但是 statefulset 管理的 pod 一直处于 Terminating 状态无法迁移,pod 就一直无法提供服务。官方文档中解释如下:

当某节点关闭但 kubelet 的节点关闭管理器未检测到这一事件时, 在那个已关闭节点上、属于 StatefulSet 的 Pod 将停滞于终止状态,并且不能移动到新的运行节点上。 这是因为已关闭节点上的 kubelet 已不存在,亦无法删除 Pod, 因此 StatefulSet 无法创建同名的新 Pod。 如果 Pod 使用了卷,则 VolumeAttachments 不会从原来的已关闭节点上删除, 因此这些 Pod 所使用的卷也无法挂接到新的运行节点上。 所以,那些以 StatefulSet 形式运行的应用无法正常工作。 如果原来的已关闭节点被恢复,kubelet 将删除 Pod,新的 Pod 将被在不同的运行节点上创建。 如果原来的已关闭节点没有被恢复,那些在已关闭节点上的 Pod 将永远滞留在终止状态

解决办法

官方提供的解决办法是给该节点添加一个 NoExecute 的污点。尝试发现并不行,而且 node 长期处于 NotReady,node control 会给该节点自动添加 NOExecute 的污点。

有尝试过升级 k8s 版本到 1.31.1,发现也并不行。

后续搜索发现可以强制删除节点上的 pod,原理是强制删除不需要等待该节点上的 kubelet 的响应。

kubectl delete pod "pod_name" -n "namespace" --grace-period=0 --force

我们可以创建 deployment 来定时查找长期处于 Terminating 状态的 pod,或者说是 cronJob。

编写查询并删除 pod 的脚本 configmap:

apiVersion: v1
kind: ConfigMap
metadata:
  name: delete-terminating-pods-script
  namespace: ops  
data:
  delete_terminating_pods.sh: |
    #!/bin/bash

    temp_file="/tmp/terminating_pods.txt"
    > "$temp_file"
    while true; do
        kubectl get pod -A | grep Terminating | awk '{print $1,$2}' > "$temp_file"
        sleep 60

        kubectl get pod -A | grep Terminating | awk '{print $1,$2}'| while read namespace pod_name; do
            if grep -q "$namespace $pod_name" "$temp_file"; then  #避免删除优雅退出的 pod
                kubectl delete pod "$pod_name" -n "$namespace" --grace-period=0 --force
            fi
        done

        > "$temp_file"
        sleep 60
    done

创建一个 ServiceAccount 并给予权限

apiVersion: v1
kind: ServiceAccount
metadata:
  name: delete-terminating-pods-sa
  namespace: ops
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: pod-deleter
rules:
- apiGroups: [""]
  resources: ["pods"]
  verbs: ["get", "list", "delete"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: delete-terminating-pods-crb
subjects:
- kind: ServiceAccount
  name: delete-terminating-pods-sa
  namespace: ops
roleRef:
  kind: ClusterRole
  name: pod-deleter
  apiGroup: rbac.authorization.k8s.io

编写一个 deployment,kubectl 的版本与自己集群版本相同即可

apiVersion: apps/v1
kind: Deployment
metadata:
  name: kubectl
  namespace: ops
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kubectl
  template:
    metadata:
      labels:
        app: kubectl
    spec:
      serviceAccountName: delete-terminating-pods-sa
      containers:
        - name: kubectl-container
          image: bitnami/kubectl:1.31.1
          command: ["/bin/bash", "/scripts/delete_terminating_pods.sh"]
          volumeMounts:
          - name: script-volume
            mountPath: /scripts
      volumes:
      - name: script-volume
        configMap:
          name: delete-terminating-pods-script

到此就可以自动发现并删除 节点意外情况 sts 管理的 pod 了,有更好的办法评论区可以留言。


http://www.kler.cn/a/354971.html

相关文章:

  • vue中做一个最多输入一位小数且可以为负数的输入框(包含最前面最后面为小数点及多个-符号与前导零校验)
  • 【MySQL基础篇】多表查询(隐式/显式内连接、左/右外连接、自连接查询、联合查询、标量/列/行/表子查询)
  • 【零基础保姆级教程】制作自己的数据集(二)——Labelme的安装与使用及常见的报错解决方法
  • “檢測到不安全的代理”怎麼修復?
  • C#(事件)2
  • 智能化军事【五】精确制导武器智能化实现
  • 如何设计开发RTSP直播播放器?
  • 基于直播美颜SDK的实时美颜平台开发指南
  • 如何启动hive
  • 软件分享|Notepad-- 文本编辑器
  • 基于逻辑回归实现乳腺癌预测
  • Rocky linux 修改ip地址, rocky服务器修改静态地址, rocky虚拟机修改ip
  • ai字幕用什么软件制作?6款视频加字幕工具分享!
  • 29.第二阶段x86游戏实战2-遍历周围-花指令与二叉树数据结构(有如何阅读vm代码混淆代码)
  • 【微信小程序_7_WXML 模板语法 - 按钮事件和输入框事件绑定】
  • rk3568 , rk3588 , rknpu2 sdk , rknn-toolkit2, rknn-toolkit2-lite 的了解
  • AI 工具大比拼:ChatGPT 与豆包的魅力与未来展望
  • unity 屏幕波动反馈打击效果(附资源下载)
  • 基于matlab处理语音信号
  • C++新手入门指南:从基础概念到实践之路
  • Kafka之消费者组与消费者
  • YOLOv11改进-模块-引入矩形自校准模块RCM有利于复杂场景(小目标、遮挡等)
  • Python解力扣算法题4(基础)
  • linux中通过一个命令启动任何java的jar包
  • Spring Boot + Vue 前后端分离项目总结:解决 CORS 和 404 问题
  • zipkin启动脚本并指定mysql数据存储