K8S中高级存储之PV和PVC
高级存储
PV和PVC
由于kubernetes支持的存储系统有很多,要求客户全都掌握,显然不现实。为了能够屏蔽底层存储实现的细节,方便用户使用, kubernetes引入PV和PVC两种资源对象。
-
PV(Persistent Volume)
-
PV是Kubernetes中的一个API对象,它代表集群中的一块存储,这块存储已经预先按照某种方式设置好了,并且可以被多个用户使用。PV是集群资源,由Kubernetes管理员预先配置,它们不会因Pod的终止而消失,因此被称为“持久化”。PV可以采用多种形式,例如本地存储、网络附加存储(NAS)、云存储服务等。
-
-
PVC(Persistent Volume Claim)
-
PVC是用户对存储的请求,它允许用户以声明式的方式请求存储资源,而无需关心存储的具体实现细节。用户定义所需的存储容量、访问模式和存储类别(如果需要),然后提交PVC请求。
-
PV(Persistent Volume)
-
PV(Persistent Volume)在Kubernetes中指的是持久化卷,它是一种存储抽象的概念,代表了集群中的一块存储,这可以是本地磁盘、网络附加存储(NAS)、或者云存储等。PV与底层存储的具体实现细节相解耦,使得Kubernetes管理员可以灵活地管理存储资源。
PV的主要特点包括
-
独立性:PV独立于Pod存在,即使使用PV的Pod被删除,PV中的数据也不会丢失。
-
持久性:PV在设计上用于数据的持久化存储,它们在Kubernetes集群中是长寿命的。
-
可配置性:Kubernetes管理员可以配置PV的大小、访问模式(如ReadWriteOnce、ReadOnlyMany、ReadWriteMany)以及存储类别(StorageClass)。
-
可重用性:PV一旦被创建,可以被多个Pod重用,只要它们的访问模式和存储需求相匹配。
-
动态供应:通过StorageClass资源,Kubernetes可以自动创建PV以满足PVC的请求,这个过程称为动态存储供应。
PV的生命周期
-
创建:Kubernetes管理员根据集群的存储需求预先创建PV资源。
-
绑定:当用户提交PVC(Persistent Volume Claim)请求时,Kubernetes会尝试找到一个匹配的PV进行绑定。
-
使用:绑定成功后,PV可以被Pod通过PVC访问和使用。
-
回收:当PVC被删除时,PV可以被释放并根据回收策略进行清理,以便再次使用或保持其数据。
PV关键配置参数
-
存储类型
-
定义:底层实际存储的类型,Kubernetes 支持多种存储类型,如 NFS、iSCSI、glusterFS 等,每种类型的配置都会有所不同。
-
影响因素:不同存储类型可能支持的访问模式和回收策略不同。
-
-
存储能力(capacity)
-
定义:当前主要支持存储空间的设置(如
storage=1Gi
),但未来可能会增加 IOPS、吞吐量等其他性能指标的配置。 -
注意事项:存储能力的设置直接影响到 PV 能够提供给 Pod 的存储空间大小。
-
访问模式(accessModes)
-
定义:描述用户应用对存储资源的访问权限,包括:
-
ReadWriteOnce(RWO):读写权限,但只能被单个节点挂载。
-
ReadOnlyMany(ROX):只读权限,可被多个节点挂载。
-
ReadWriteMany(RWX):读写权限,可被多个节点挂载。
-
-
注意事项:底层不同的存储类型可能支持的访问模式不同。
-
-
回收策略(persistentVolumeReclaimPolicy)
-
定义:当 PV 不再被使用时,对其的处理方式,包括:
-
Retain(保留):保留数据,需管理员手动清理。
-
Recycle(回收):清除 PV 中的数据。
-
Delete(删除):与 PV 相关联的后端存储完成 volume 删除操作。
-
-
注意事项:底层不同的存储类型可能支持的回收策略不同。
-
-
存储类别(storageClassName)
-
定义:通过
storageClassName
参数指定一个存储类别,有助于管理和组织不同类型的存储资源。 -
绑定规则:具有特定类别的 PV 只能与请求了该类别的 Persistent Volume Claim (PVC) 进行绑定;未设定类别的 PV 则只能与不请求任何类别的 PVC 进行绑定。
-
-
状态(status)
-
定义:PV 在生命周期中的状态,包括:
-
Available(可用):表示可用状态,尚未被任何 PVC 绑定。
-
Bound(已绑定):表示 PV 已经被 PVC 绑定。
-
Released(已释放):表示 PVC 被删除,但资源还未被集群重新声明。
-
Failed(失败):表示该 PV 的自动回收失败。
-
-
示例
-
使用NFS作为存储,来演示PV的使用,创建3个PV,对应NFS中的3个暴露的路径
[root@k8s-master ~]# mkdir /data/pv{1..3} -p
[root@k8s-master ~]# vim /etc/exports、
[root@k8s-master ~]# cat /etc/exports
/nfstest 192.168.58.0/24(rw,no_root_squash)
/data/pv1 192.168.58.0/24(rw,no_root_squash)
/data/pv2 192.168.58.0/24(rw,no_root_squash)
/data/pv3 192.168.58.0/24(rw,no_root_squash)
[root@k8s-master ~]# exportfs -arv
exporting 192.168.58.0/24:/data/pv3
exporting 192.168.58.0/24:/data/pv2
exporting 192.168.58.0/24:/data/pv1
exporting 192.168.58.0/24:/nfstest
-
创建pv配置文件
[root@k8s-master ~]# cat pv.yaml
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv1
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteMany
persistentVolumeReclaimPolicy: Retain
nfs:
path: /data/pv1
server: k8s-master
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv2
spec:
capacity:
storage: 2Gi
accessModes:
- ReadWriteMany
persistentVolumeReclaimPolicy: Retain
nfs:
path: /data/pv2
server: k8s-master
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv3
spec:
capacity:
storage: 3Gi
accessModes:
- ReadWriteMany
persistentVolumeReclaimPolicy: Retain
nfs:
path: /data/pv3
server: k8s-master
[root@k8s-master ~]# kubectl apply -f pv.yaml
persistentvolume/pv1 created
persistentvolume/pv2 created
persistentvolume/pv3 created
[root@k8s-master ~]# kubectl get pv -w
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
pv1 1Gi RWX Retain Available 14s
pv2 2Gi RWX Retain Available 14s
pv3 3Gi RWX Retain Available 14s
当前PV的状态为available为可用状态;
PVC(Persistent Volume Claim)
PVC 的关键配置参数
-
访问模式(accessModes)
-
定义:描述用户应用对存储资源的访问权限。
-
可选值
-
ReadWriteOnce
:表示该卷可以被集群中的一个节点挂载为读写模式。 -
ReadOnlyMany
:表示该卷可以被集群中的多个节点挂载为只读模式。 -
ReadWriteMany
:表示该卷可以被集群中的多个节点同时挂载为读写模式。
-
-
注意事项:不同的存储类型可能支持的访问模式不同。
-
-
选择条件(selector)
-
定义:通过 Label Selector 的设置,使 PVC 对系统中已存在的 PV 进行筛选。
-
作用:允许 PVC 根据标签选择特定的 PV,从而实现更灵活的存储资源管理。
-
示例:
matchLabels: { app: myapp }
表示 PVC 会尝试绑定标签为{ app: myapp }
的 PV。
-
-
存储类别(storageClassName)
-
定义:PVC 在定义时可以设定需要的后端存储的类别。
-
作用:只有设置了相同
storageClassName
的 PV 才能被系统选出作为 PVC 的目标。 -
示例:
storageClassName: standard
表示 PVC 要求使用名为standard
的存储类别。
-
-
资源请求(Resources)
-
定义:PVC 中的资源请求字段用于指定 PVC 需要的最小存储空间大小。
-
示例:
resources.requests.storage: 5Gi
表示 PVC 请求至少需要 5GB 的存储空间。 -
注意事项:PVC 的资源请求必须小于或等于 PV 提供的最大存储空间,否则 PVC 无法成功绑定到 PV 上。
-
[root@k8s-master ~]# cat pvc.yaml
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc1
namespace: test
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 10Mi
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc2
namespace: test
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 10Mi
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: pvc3
namespace: test
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 10Mi
[root@k8s-master ~]# kubectl create ns test
namespace/test created
[root@k8s-master ~]# kubectl apply -f pvc.yaml
persistentvolumeclaim/pvc1 created
persistentvolumeclaim/pvc2 created
persistentvolumeclaim/pvc3 created
[root@k8s-master ~]# kubectl get pvc -w
^C[root@k8s-master ~]# kubectl get pvc -n test
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
pvc1 Bound pv1 1Gi RWX 18s
pvc2 Bound pv2 2Gi RWX 18s
pvc3 Bound pv3 3Gi RWX 18s
[root@k8s-master ~]# kubectl get pv -o wide
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE VOLUMEMODE
pv1 1Gi RWX Retain Bound test/pvc1 2m55s Filesystem
pv2 2Gi RWX Retain Bound test/pvc2 2m55s Filesystem
pv3 3Gi RWX Retain Bound test/pvc3 2m55s Filesystem
创建PVC之后PV的状态变为已绑定;
-
创建pods.yaml, 使用pv
[root@k8s-master ~]# cat pods.yaml
---
apiVersion: v1
kind: Pod
metadata:
name: pod1
namespace: test
spec:
containers:
- name: busybox
image: busybox:1.30
command: ["/bin/sh", "-c", "while true; do echo pod1 >> /root/out.txt; sleep 10; done;"]
volumeMounts:
- name: volume
mountPath: /root/
volumes:
- name: volume
persistentVolumeClaim:
claimName: pvc1
readOnly: false
---
apiVersion: v1
kind: Pod
metadata:
name: pod2
namespace: test
spec:
containers:
- name: busybox
image: busybox:1.30
command: ["/bin/sh", "-c", "while true; do echo pod2 >> /root/out.txt; sleep 10; done;"]
volumeMounts:
- name: volume
mountPath: /root/
volumes:
- name: volume
persistentVolumeClaim:
claimName: pvc2
readOnly: false
[root@k8s-master ~]# kubectl apply -f pods.yaml
pod/pod1 created
pod/pod2 created
[root@k8s-master ~]# kubectl get pods -n test
NAME READY STATUS RESTARTS AGE
pod1 0/1 ContainerCreating 0 6s
pod2 0/1 ContainerCreating 0 6s
[root@k8s-master ~]# kubectl get pods -n test -w
NAME READY STATUS RESTARTS AGE
pod1 0/1 ContainerCreating 0 9s
pod2 0/1 ContainerCreating 0 9s
pod1 1/1 Running 0 9s
pod2 1/1 Running 0 10s
^C[root@k8s-master ~]# kubectl get pods -n test -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
pod1 1/1 Running 0 20s 10.244.169.129 k8s-node2 <none> <none>
pod2 1/1 Running 0 20s 10.244.36.74 k8s-node1 <none> <none>
"while true; do echo pod1 >> /root/out.txt; sleep 10; done;":while循环每十秒输出pod1到/root/out.txt中;
[root@k8s-master ~]# cat /data/pv1/out.txt
pod1
pod1
[root@k8s-master ~]# cat /data/pv2/out.txt
pod2
pod2
pod2
[root@k8s-master ~]# cat /data/pv1/out.txt
pod1
pod1
pod1
pod1
pod1
pod1
pod1
pod1
pod1
pod1
pod1
pod1
pod1
pod1
pod1
pod1
pod1