当前位置：首页 > article >正文

ceph基础

article 2024/10/10 11:47:18

ceph基础搭建

存储基础

传统的存储类型：

DAS设备：

SAS,SATA,SCSI,IDW,USB
无论是那种接口，都是存储设备驱动下的磁盘设备，而磁盘设备其实就是一种存储是直接接入到主板总线上去的。直连存储。

NAS设备:

NFS CIFS FTP
几乎所有的网络存储设备基本上都是以文件系统样式进行使用，无法进一步格式化操作。nas是共享的。

SAN：

SCSI协议 FC SAN ISCSI
基于san方式提供给客户端操作系统的是一种块设备接口，这些设备间主要要通过scsi协议来完成正常的通信。scsi的结构类似于tcp/ip协议也有很多层，但是scsi协议主要是用来进行存储数据操作的。既然是分层方式实现的，那就是说，有部分层可以被代替。比如，将物理层基于fc方式来实现，就形成了fcsan，如果基于以太网方式来传递，就形成了iscsi模式，整体共享，单个独享。

DAS 和 SAN 都是以块的方式来管理存储的

传统的存储方式问题

存储处理能力不足
存储空间能力不足
单点问题

ceph简介

ceph是一个多版本存储系统，它把每一个待管理的数据流（例如一个文件），切分为一到多个固定大小的对象数据，并以其为原子单位完成数据库存取

ceph特性

ceph的组件

组件	解析
Monitors	CephMonitor(守护进程ceph-mon)维护集群状态的映射，包括监视器映射，管理器映射，OSD映射,MDS映射和CRUSH映射.这些映射是Ceph守护进程相互协调所需的关键集群状态。监视器还负责管理守护进程和客户端之间的身份验证。通常至少需要三个监视器才能实现冗余和高可用性。基于paxos协议实现节点间的信息同步
Managers	Ceph管理器(守护进程ceph-mgr)负责跟踪运行时指标和Ceph集群的当前状态，包括存储利用率，当前性能指标和系统负载。Ceph管理器守护进程还托管基于Python的模块来管理和公开Ceph集群信息，包括基于web的ceph仪表板和rest api。高可用性通常至少需要两个管理器。基于raft协议实现节点间的信息同步
CephOSDs	Ceph OSD（object storage daemon）对象存储守护进程（ceph-osd）存储数据，处理数据复制，回复，重新平衡，并通过检查其他ceph osd 守护进程的心跳来向ceph监视器和管理器来提供一些监控信息。通常至少需要3个ceph osd来实现冗余和高可用性。本质上osd就是一个个host主机上的存储磁盘
MDSs	ceph元数据服务器(MDS，ceph-mds)代表ceph文件系统存储元数据。ceph元数据服务器允许posix（为应用程序提供的接口标准）文件系统用户执行基本命令（如ls，find等），而不会给ceph存储集群带来巨大的负担

Ceph 将数据作为对象存储在逻辑存储池中。使用 CRUSH算法，Ceph 计算出哪个归置组应该包含该对象，并进一步计算出哪个 Ceph OSD Daemon 应该存储该归置组。CRUSH 算法使 Ceph 存储集群能够动态扩展、重新平衡和恢复。

组件及其关系

RADOS(Reliable Autonomic Distributed Object Storec)

功能：RADOS是ceph的底层存储引擎，负责数据的存储和管理。它提供了高度可靠和自我修复的对象存储能力
作用：RADIS处理数据的复制，重平衡和回复，确保数据在故障情况下仍然可用。他是所有上层组件（RBD CephFS RADOSGW）的基础

LIBRADOS

功能：LIBRADOS是一个客户端库，允许应用程序直接与RADOS进行交互。它支持多种编程语言（c，c++，java，python，ruby，php）
作用：通过librados，开发者可以构建自己的应用程序，直接操作RADOS存储，从而实现定制化的数据存取

RBD(RADOS Block Device)

功能：RBD提供块存储功能，允许虚拟机和数据库等应用使用块设备
作用：RBD利用RADOS的特性，提供高性能和可扩展的快存储。RBD通过linux的内核客户端和qemu/kvm的驱动程序进行访问，是的虚拟机能够直接使用ceph存储

CEPHFS（Ceph File System）

功能: CEPHFS 是一个符合 POSIX 标准的分布式文件系统，支持 Linux 内核客户端和 FUSE。
作用: CEPHFS 允许用户通过文件系统接口访问存储在 RADOS 中的数据，使得 Ceph 不仅限于对象存储，还可以作为文件系统使用。

RADOSGW（RADOS Gateway）

功能: RADOSGW 是基于存储桶的 REST 网关，兼容 S3 和 Swift API。
作用: RADOSGW 提供了一种简单的方式来通过 RESTful 接口访问 RADOS 存储。它使得用户能够利用现有的 S3 和 Swift 应用程序，轻松访问 Ceph 存储。

逻辑关系和作用

基础层（RADOS）: 所有其他组件（LIBRADOS、RBD、CEPHFS、RADOSGW）都依赖于 RADOS 提供的存储能力和数据管理功能。
客户端访问（LIBRADOS、RBD、CEPHFS、RADOSGW）:
- 应用程序可以通过 LIBRADOS 直接访问 RADOS，进行数据操作。
- RBD 和 CEPHFS 提供了块和文件系统存储的抽象，使得用户可以以熟悉的方式使用 Ceph。
- RADOSGW 则使得对象存储的使用更加简便，通过兼容 S3 和 Swift 的接口，吸引更多开发者和用户。
自我修复和管理: RADOS 的自我修复和管理能力使得 Ceph 能够在节点故障或数据损坏时，自动处理数据的复制和恢复，确保高可用性和数据一致性。

以下是使用短视频的例子来解释 Ceph 的五个组件（RADOS、RADOSGW、RBD、CEPHFS、LIBRADOS）：

1. RADOS

概念：RADOS（Reliable Autonomic Distributed Object Store）是 Ceph 的底层存储层，负责数据的存储、复制和管理。

短视频例子：所有用户上传的短视频文件首先存储在 RADOS 中。RADOS 负责将这些视频数据分散存储在多个 OSD（对象存储设备）上，并确保数据的可靠性和可用性。例如，当用户上传视频时，RADOS 会将视频数据划分为多个对象，并将它们分散存储在不同的节点上。

2. RADOSGW

概念：RADOSGW 是一个提供 S3 和 Swift 兼容的 RESTful API 的网关，允许应用程序通过 HTTP 协议访问 RADOS 存储。

短视频例子：短视频平台的前端应用可以通过 RADOSGW 上传和下载视频。比如，用户通过应用选择一个视频文件并点击上传，应用使用 RADOSGW 的 S3 API 发送 HTTP 请求，将视频存储到 Ceph 中。当用户观看视频时，应用会通过 RADOSGW 获取视频文件的 URL，并从 Ceph 下载视频。

3. RBD

概念：RBD（RADOS Block Device）是一个提供分布式块存储的组件，支持将对象存储作为块设备使用。

短视频例子：在短视频的后台，某些处理任务（如转码）可能需要更高效的存储访问。此时，可以使用 RBD 将 RADOS 存储作为虚拟机的块设备。比如，短视频处理的虚拟机可以将 RBD 作为数据盘，快速读取和写入视频文件。

4. CEPHFS

概念：CEPHFS 是一个基于 RADOS 的分布式文件系统，提供 POSIX 兼容的文件访问。

短视频例子：在短视频制作过程中，多个编辑人员可能需要同时访问和编辑同一个视频文件。使用 CEPHFS，团队成员可以通过标准的文件操作（如打开、编辑、保存）来管理视频文件，确保实时协作。例如，编辑人员可以将工作文件保存在 CEPHFS 中，所有人都可以看到最新版本的文件。

5. LIBRADOS

概念：LIBRADOS 是一个允许应用程序直接与 RADOS 进行交互的库，支持多种编程语言。

短视频例子：如果开发者需要在短视频应用中实现一些特定功能，比如直接从 RADOS 读取和写入视频元数据（如标题、描述、时长等），可以使用 LIBRADOS。开发者可以编写代码，通过 LIBRADOS 库直接与 RADOS 交互，进行数据的高效存取。

总结

通过短视频的例子，我们可以看到这五个组件如何协同工作：RADOS 作为基础存储，RADOSGW 提供 API 接口，RBD 用于块存储，CEPHFS 支持文件系统操作，而 LIBRADOS 允许开发者直接与 RADOS 交互。这种设计使得 Ceph 成为一个灵活且强大的存储解决方案。

搭建

cephadm

搭建使用cephadm 用于部署和管理cph集群，它通过ssh将manager将守护进程连接到主机来实现这一点。manager守护进程支持添加，删除和更新ceph容器。cephadm不依赖外部部署工具，例如ansible，rook和salt。
cephadm管理ceph集群的整个生命周期。此生命周期从引导过程开始，cephadm在单个节点上创建一个小型的ceph集群。此集群由一个监视器（MON）和一个管理器（MGR）组成。然后，cephadm使用编排接口扩展集群，添加所有主机并提供所有ceph守护进程和服务。此生命周期的管理可以通过ceph命令行接口或仪表盘执行

适用版本是ceph(Octopus)版本

安装cephadm（在所有节点上执行）

设置主机名，关闭selinux。关闭防火墙（三台）

[root@localhost ~]# hostnamectl set-hostname ceph01
[root@localhost ~]# sed -i 's/SELINUC=enforcing/SELINUX=disabled/g' /etc/selinux/config 
[root@localhost ~]# setenforce 0
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@localhost ~]#

deploy

[root@controller ~]# mkdir ceph  创建工作目录
[root@controller ceph]# yum install -y ceph-deploy   只在控制节点安装下载批量部署工具
所有节点安装ceph
yum install -y ceph

进入ceph目录
[root@controller ceph]# ceph-deploy new controller compute1 compute2   //创建一个新的集群 并把相应节点加入到集群中
[root@controller ceph]# iptables -F   所有节点先执行这个
[root@controller ceph]# ceph-deploy mon create-initial  初始化认证文件

创建osd
[root@controller ceph]# ceph-deploy osd create --data /dev/sdb controller
[root@controller ceph]# ceph-deploy osd create --data /dev/sdb compute1
[root@controller ceph]# ceph-deploy osd create --data /dev/sdb compute2
[root@controller ceph]# ceph-deploy admin controller compute1 compute2  下载认证文件

在compute1和compute2执行如下命令
[root@compute1 ~]# cd /etc/ceph/
[root@compute1 ceph]# chmod a+x ceph.client.admin.keyring 

接下来我们将节点加入到mgr 里面
[root@controller ceph]# ceph-deploy mgr create controller compute1 compute2 

启动dashboard界面
[root@controller ceph]# ceph mgr module enable dashboard 
[root@controller ceph]# ceph dashboard create-self-signed-cert 
Self-signed certificate created
[root@controller ceph]# ceph mgr services
{
    "dashboard": "https://controller:8443/"
}
[root@controller ceph]# ceph dashboard set-login-credentials admin 123 
Username and password updated

节点之间时间同步

[root@ceph01 ~]# yum -y install chrony （三台安装）

[root@ceph01 ~]# head -n 8 /etc/chrony.conf 
# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
server time1.aliyun.com iburst
server time2.aliyun.com iburst
server time3.aliyun.com iburst



[root@ceph03 ~]# head -n 5 /etc/chrony.conf 
# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
server 10.104.45.216 iburst


[root@ceph02 ~]# ntpdate 10.104.45.216
# 手动同步一次

systemctl restart chronyd.service
systemctl enable  chronyd.service
systemctl status chronyd.service

主机映射（三台）

[root@ceph03 ~]# cat >> /etc/hosts << EOF
> 10.104.45.216    ceph01
> 10.104.45.217    ceph02    
> 10.104.45.218    ceph03
> EOF

安装docker

# 使用一键部署脚本包
[root@ceph03 ~]# cd offline_install_docker-main/
[root@ceph03 offline_install_docker-main]# ls
arm  install_docker-compose.sh  README.md  x86
[root@ceph03 offline_install_docker-main]# bash install_docker-compose.sh 
OS Version is : x86
which: no docker in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin)
----------------------------------------------------
安装docker运行环境:
extendinstall/
extendinstall/docker-compose
extendinstall/docker.service
extendinstall/containerd.service
extendinstall/docker.socket
extendinstall/docker.tgz
docker/
docker/docker-proxy
docker/docker-init
docker/containerd
docker/containerd-shim
docker/dockerd
docker/runc
docker/ctr
docker/docker
docker/containerd-shim-runc-v2
groupadd: group 'docker' already exists
Created symlink from /etc/systemd/system/multi-user.target.wants/containerd.service to /etc/systemd/system/containerd.service.
Created symlink from /etc/systemd/system/sockets.target.wants/docker.socket to /etc/systemd/system/docker.socket.
Created symlink from /etc/systemd/system/multi-user.target.wants/docker.service to /etc/systemd/system/docker.service.
Docker version 20.10.20, build 9fdeb9c
which: no docker-compose in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin)
extendinstall/
extendinstall/docker-compose
extendinstall/docker.service
extendinstall/containerd.service
extendinstall/docker.socket
extendinstall/docker.tgz
Docker Compose version v2.27.0
[root@ceph03 offline_install_docker-main]#

拉去cephadm

# 挑选一个版本
[root@ceph01 ~]# curl --silent --remote-name https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm



[root@controller ~]# wget https://download.ceph.com/rpm-15.2.17/el8/noarch/cephadm

给予执行权限

[root@ceph01 ~]# ls
anaconda-ks.cfg  offline_install_docker-main
cephadm          offline_install_docker-main.zip
[root@ceph01 ~]# chmod +x cephadm 
[root@ceph01 ~]# ls
anaconda-ks.cfg  offline_install_docker-main
cephadm          offline_install_docker-main.zip
[root@ceph01 ~]# cp cephadm /usr/bin/locale
locale     localectl  localedef  
[root@ceph01 ~]# cp cephadm /usr/local/bin/

error

[root@ceph01 ~]# cephadm  add-repo --release octopus
bash: /usr/local/bin/cephadm: /usr/libexec/platform-python: bad interpreter: No such file or directory
[root@ceph01 ~]# which platform-python
/usr/bin/which: no platform-python in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin)


# 修改脚本第一行
# 使用python3
[root@ceph01 ~]# vim /usr/local/bin/cephadm

#!/usr/bin/python3


# 添加repo仓库 可以在安装cephadm之前也可以在之后，不过建议在之前  因为可以先更换为aliyun的源

./cephadm add-repo --release octopus

# 修改镜像源为国内阿里云地址
sed -i 's/download.ceph.com/mirrors.aliyun.com\/ceph/' /etc/yum.repos.d/ceph.repo
sed -i 's/release.gpg/release.asc/' /etc/yum.repos.d/ceph.repo

[root@ceph01 ~]# cephadm add-repo --release octopus
Writing repo to /etc/yum.repos.d/ceph.repo...
Enabling EPEL...

引导一个新集群

#该操作在引导节点上执行
# 创建新ceph集群的第一步是在ceph集群的第一台主机上运行cephadm bootstrap 命令，在ceph集群的第一台主机上运行#cephadm bootstrap命令会创建ceph集群的第一个“监视器（mon）守护进程“，并且该监视器守护进程需要一个ip地址
#因此需要知道该主机的ip地址。如果由多个网络和接口，请确保选择一个可供任何访问ceph集群的主机访问的网络和接口。

[root@ceph01 ~]# cephadm bootstrap --mon-ip 10.104.45.216


# 返回这个就可以登录dashboard了
Ceph Dashboard is now available at:

	     URL: https://ceph01:8443/
	    User: admin
	Password: qux1otim5v

# 可能拉不到镜像要配置docker源

这个是ceph的dashboard(https://10.104.45.216:8443/)

这个是实时显示ceph集群状态的grafana展示页面（https://10.104.45.216:3000/）

[root@ceph01 ~]# ll /etc/ceph/
total 12
-rw-------. 1 root root  63 Oct  2 15:14 ceph.client.admin.keyring
-rw-r--r--. 1 root root 177 Oct  2 15:14 ceph.conf
-rw-r--r--. 1 root root 595 Oct  2 15:14 ceph.pub
[root@ceph01 ~]# docker images 
REPOSITORY                         TAG       IMAGE ID       CREATED       SIZE
quay.io/ceph/ceph                  v15       93146564743f   2 years ago   1.2GB
quay.io/ceph/ceph-grafana          6.7.4     557c83e11646   3 years ago   486MB
quay.io/prometheus/prometheus      v2.18.1   de242295e225   4 years ago   140MB
quay.io/prometheus/alertmanager    v0.20.0   0881eb8f169f   4 years ago   52.1MB
quay.io/prometheus/node-exporter   v0.18.1   e5a616e4b9cf   5 years ago   22.9MB
[root@ceph01 ~]# docker ps -a
CONTAINER ID   IMAGE                                      COMMAND                  CREATED             STATUS             PORTS     NAMES
3f0c156dcb25   quay.io/ceph/ceph-grafana:6.7.4            "/bin/sh -c 'grafana…"   About an hour ago   Up About an hour             ceph-97ed7984-808d-11ef-bc80-000c29509a00-grafana.ceph01
de2b6c468163   quay.io/prometheus/alertmanager:v0.20.0    "/bin/alertmanager -…"   About an hour ago   Up About an hour             ceph-97ed7984-808d-11ef-bc80-000c29509a00-alertmanager.ceph01
454cb95241a0   quay.io/prometheus/prometheus:v2.18.1      "/bin/prometheus --c…"   About an hour ago   Up About an hour             ceph-97ed7984-808d-11ef-bc80-000c29509a00-prometheus.ceph01
e30985be1112   quay.io/prometheus/node-exporter:v0.18.1   "/bin/node_exporter …"   About an hour ago   Up About an hour             ceph-97ed7984-808d-11ef-bc80-000c29509a00-node-exporter.ceph01
ffcaf1216cf0   quay.io/ceph/ceph:v15                      "/usr/bin/ceph-crash…"   About an hour ago   Up About an hour             ceph-97ed7984-808d-11ef-bc80-000c29509a00-crash.ceph01
65853fe0356e   quay.io/ceph/ceph:v15                      "/usr/bin/ceph-mgr -…"   About an hour ago   Up About an hour             ceph-97ed7984-808d-11ef-bc80-000c29509a00-mgr.ceph01.hqozuo
29a952b7c708   quay.io/ceph/ceph:v15                      "/usr/bin/ceph-mon -…"   About an hour ago   Up About an hour             ceph-97ed7984-808d-11ef-bc80-000c29509a00-mon.ceph01

由以上信息，可以知道，在引导节点上运行了

mgr：ceph管理器（MGR）程序
mon：ceph监视器
crash：崩溃数据采集模块
prometheus：prometheus监控组件
alertmanager：prometheus告警组件
node-exporter：prometheus节点监控数据采集组件
grafana：监控数据展示仪表盘grafana

启动ceph命令（所有节点）

默认情况下，cephadm不会在主机上安装任何ceph软件包，需运行cephadm shell命令在安装了所有ceph软件包的容器中启动bash shell（运行exit 即退出shell），在此特定的shell中运行ceph相关命令
cephadm shell 命令提供了一个交互式环境，允许你直接与 Ceph 集群进行交互。通过这个环境，你可以执行管理命令、查看集群状态、配置设置等。它相当于一个集成的管理工具，让你更方便地操作和监控 Ceph 集群

默认情况下，如果在主机上的/etc/ceph中找到ceph.conf配置文件和ceph.client.admin.keyring文件，则会将它们传递到容器环境中，以便shell能够完全正常工作。但是若在MON主机上执行时，cephadm shell将会从mon容器查找配置，而不是使用默认配置

[root@ceph01 ~]# cephadm shell
Inferring fsid 97ed7984-808d-11ef-bc80-000c29509a00
Inferring config /var/lib/ceph/97ed7984-808d-11ef-bc80-000c29509a00/mon.ceph01/config
Using recent ceph image quay.io/ceph/ceph@sha256:c08064dde4bba4e72a1f55d90ca32df9ef5aafab82efe2e0a0722444a5aaacca

# 查看集群的状态
[ceph: root@ceph01 /]# ceph -s
  cluster:
    id:     97ed7984-808d-11ef-bc80-000c29509a00
    health: HEALTH_WARN
            OSD count 0 < osd_pool_default_size 3
 
  services:
    mon: 1 daemons, quorum ceph01 (age 101m)
    mgr: ceph01.hqozuo(active, since 101m)
    osd: 0 osds: 0 up, 0 in
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:     
 
[ceph: root@ceph01 /]# 


# 或者安装ceph-common
[root@ceph01 ~]# yum -y install ceph-common

添加主机（在引导节点）

列出当前与集群关联的主机

[root@ceph01 ~]# ceph orch host ls
HOST    ADDR    LABELS  STATUS  
ceph01  ceph01

配置集群的公共ssh公钥至其他ceph节点

[root@ceph01 ~]# for i in 7 8 ;do ssh-copy-id -f -i /etc/ceph/ceph.pub root@10.104.45.21$i;done
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/etc/ceph/ceph.pub"
The authenticity of host '10.104.45.217 (10.104.45.217)' can't be established.
ECDSA key fingerprint is SHA256:YuFp/UuxY5oYrzHaq35xR4dcXGVuxE060bgRYMYLHNA.
ECDSA key fingerprint is MD5:e4:54:fb:8c:63:6e:ae:e3:c5:8b:79:ec:1d:cd:0e:55.
Are you sure you want to continue connecting (yes/no)? yes
root@10.104.45.217's password: 

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh 'root@10.104.45.217'"
and check to make sure that only the key(s) you wanted were added.

/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/etc/ceph/ceph.pub"
The authenticity of host '10.104.45.218 (10.104.45.218)' can't be established.
ECDSA key fingerprint is SHA256:YuFp/UuxY5oYrzHaq35xR4dcXGVuxE060bgRYMYLHNA.
ECDSA key fingerprint is MD5:e4:54:fb:8c:63:6e:ae:e3:c5:8b:79:ec:1d:cd:0e:55.
Are you sure you want to continue connecting (yes/no)? yes
root@10.104.45.218's password: 

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh 'root@10.104.45.218'"
and check to make sure that only the key(s) you wanted were added.

[root@ceph01 ~]# 

# ceph -s 是查看集群的健康和基本状态，而 ceph orch ls 是查看和管理具体的服务实例

如果不加 -i 选项，ssh-copy-id 默认会使用用户主目录下的 ~/.ssh/id_rsa.pub 或 ~/.ssh/id_dsa.pub 等公钥文件。具体行为如下：

默认使用：它会查找当前用户的 SSH 公钥，如果找到就将其复制到目标主机的 ~/.ssh/authorized_keys 文件中。
不指定公钥：这意味着如果用户没有生成过 SSH 密钥对，可能会出现错误，因为没有公钥可供复制。

总之，加不加 -i 取决于你想复制哪个公钥。如果你使用的是默认的公钥文件，就可以省略这个选项。

添加新的节点

[root@ceph01 ~]# ceph orch host add ceph02
Added host 'ceph02'
[root@ceph01 ~]# ceph orch host add ceph03
Added host 'ceph03'
#可以使用主机名映射 也可以用ip地址

这个时候查看
[root@ceph01 ceph]# ceph -s
  cluster:
    id:     97ed7984-808d-11ef-bc80-000c29509a00
    health: HEALTH_WARN
            OSD count 0 < osd_pool_default_size 3
 
  services:
    mon: 3 daemons, quorum ceph01,ceph03,ceph02 (age 27m)
    mgr: ceph01.hqozuo(active, since 3h), standbys: ceph02.mlmmgp
    osd: 0 osds: 0 up, 0 in
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:     
# mon会自动生成，但是要等一下（有点久，耐心等待）

# 添加标签

[root@ceph01 ~]# ceph orch host label add ceph01 mon
Added label mon to host ceph01
[root@ceph01 ~]# ceph orch host ls
HOST    ADDR    LABELS      STATUS  
ceph01  ceph01  _admin mon          
ceph02  ceph02                      
ceph03  ceph03  _admin              
[root@ceph01 ~]# ceph orch host label add ceph02 mon
Added label mon to host ceph02
[root@ceph01 ~]# ceph orch host label add ceph03 mon
Added label mon to host ceph03

[root@ceph01 ~]# ceph orch host ls
HOST    ADDR    LABELS      STATUS  
ceph01  ceph01  _admin mon          
ceph02  ceph02  mon                 
ceph03  ceph03  _admin mon  


# 删除标签

[root@ceph01 ~]# ceph orch host label rm ceph01 hmm
Removed label hmm from host ceph01
[root@ceph01 ~]# 

[root@ceph01 ~]# ceph orch host ls
HOST    ADDR    LABELS      STATUS  
ceph01  ceph01  _admin mon          
ceph02  ceph02                      
ceph03  ceph03  _admin              
[root@ceph01 ~]#

部署 MON

# 关闭mon自动分配
[root@ceph01 ~]# ceph orch apply mon --unmanaged
Scheduled mon update...
# 设置mon数量
[root@ceph01 ~]# ceph orch apply mon 3
Scheduled mon update...
[root@ceph01 ~]# ceph orch ls
NAME                  RUNNING  REFRESHED  AGE  PLACEMENT             IMAGE NAME                                IMAGE ID      
alertmanager              1/1  27s ago    19h  count:1               quay.io/prometheus/alertmanager:v0.20.0   0881eb8f169f  
crash                     3/3  28s ago    19h  *                     quay.io/ceph/ceph:v15                     93146564743f  
grafana                   1/1  27s ago    19h  count:1               quay.io/ceph/ceph-grafana:6.7.4           557c83e11646  
mgr                       2/2  28s ago    17h  ceph01;ceph02         quay.io/ceph/ceph:v15                     93146564743f  
mon                       3/3  28s ago    4s   count:3               quay.io/ceph/ceph:v15                     93146564743f  
node-exporter             3/3  28s ago    19h  *                     quay.io/prometheus/node-exporter:v0.18.1  e5a616e4b9cf  
osd.None                  3/0  27s ago    -    <unmanaged>           quay.io/ceph/ceph:v15                     93146564743f  
osd.osd_spec_default      6/6  28s ago    15h  ceph01;ceph02;ceph03  quay.io/ceph/ceph:v15                     93146564743f  
prometheus                1/1  27s ago    19h  count:1               quay.io/prometheus/prometheus:v2.18.1     de242295e225  
# 启动标签匹配
[root@ceph01 ~]# ceph orch apply mon label:mon
Scheduled mon update...

部署 MGR

[root@ceph01 ceph]# ceph orch ls mgr
NAME  RUNNING  REFRESHED  AGE  PLACEMENT      IMAGE NAME             IMAGE ID      
mgr       2/2  9m ago     75m  ceph01;ceph02  quay.io/ceph/ceph:v15  93146564743f  
[root@ceph01 ceph]# 
[root@ceph01 ceph]# ceph orch apply mgr ceph01,ceph02,ceph03
# 指定的主机列表一定要包含原来的主机

部署 OSD

[root@ceph01 ceph]# ceph orch device ls
Hostname  Path      Type  Serial  Size   Health   Ident  Fault  Available  
ceph01    /dev/sdb  hdd            107G  Unknown  N/A    N/A    Yes        
ceph01    /dev/sdc  hdd            107G  Unknown  N/A    N/A    Yes        
ceph01    /dev/sdd  hdd            107G  Unknown  N/A    N/A    Yes        
ceph03    /dev/sdb  hdd            107G  Unknown  N/A    N/A    Yes        
ceph03    /dev/sdc  hdd            107G  Unknown  N/A    N/A    Yes        
ceph03    /dev/sdd  hdd            107G  Unknown  N/A    N/A    Yes        
[root@ceph01 ceph]# ceph orch device ls --wide
Hostname  Path      Type  Transport  RPM      Vendor   Model             Serial  Size   Health   Ident  Fault  Available  Reject Reasons  
ceph01    /dev/sdb  hdd   Unknown    Unknown  VMware,  VMware Virtual S           107G  Unknown  N/A    N/A    Yes                        
ceph01    /dev/sdc  hdd   Unknown    Unknown  VMware,  VMware Virtual S           107G  Unknown  N/A    N/A    Yes                        
ceph01    /dev/sdd  hdd   Unknown    Unknown  VMware,  VMware Virtual S           107G  Unknown  N/A    N/A    Yes                        
ceph03    /dev/sdb  hdd   Unknown    Unknown  VMware,  VMware Virtual S           107G  Unknown  N/A    N/A    Yes                        
ceph03    /dev/sdc  hdd   Unknown    Unknown  VMware,  VMware Virtual S           107G  Unknown  N/A    N/A    Yes                        
ceph03    /dev/sdd  hdd   Unknown    Unknown  VMware,  VMware Virtual S           107G  Unknown  N/A    N/A    Yes                        
[root@ceph01 ceph]#

存储设备可用的条件

设备必须没有分区
设备不得具有任何lvm状态
设备必须没有被挂载
设备必须没有包含任何文件系统
设备不得包含ceph bluestore OSD
设备必须大于5GB

创建OSD

方式一

自动使用任何可用且未使用的存储设备
ceph orch apply osd --all-available-devices 命令会在整个集群中自动应用 OSD（对象存储守护进程），并在所有可用的设备上进行配置。它会查找所有节点上的可用存储设备，然后在这些设备上创建 OSD。因此，这个操作是全局性的，而不是仅限于单个节点。

方法二

从指定的主机的指定设备创建OSD

ceph orch daemon add osd ceph01:/dev/sdc

方法三

使用高级的OSD服务规范根据设备的属性对设备进行分类。（yaml）

[root@ceph01 osd]# cat ll.yaml 
service_type: osd
service_id: osd_spec_default
data_devices:
  paths:
    - /dev/sdb
    - /dev/sdc
    - /dev/sdd
placement:
  hosts:
    - ceph01
    - ceph02
    - ceph03

检查OSD和集群状态

[root@ceph01 osd]# ceph -s
  cluster:
    id:     97ed7984-808d-11ef-bc80-000c29509a00
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum ceph01,ceph03,ceph02 (age 14h)
    mgr: ceph01.hqozuo(active, since 18h), standbys: ceph02.mlmmgp
    osd: 9 osds: 9 up (since 14h), 9 in (since 14h)
 
  data:
    pools:   1 pools, 1 pgs
    objects: 0 objects, 0 B
    usage:   9.0 GiB used, 891 GiB / 900 GiB avail
    pgs:     1 active+clean
 
#OSD状态为up 集群状态为health_OK


# 集群健康的三种状态 
HEALTH_OK       健康
HEALTH_WARN     有警告
HEALTH_ERR      错误 无法提供服务

#up 是osd的状态  由up|down
#in 是osd里有没有pg  有in|out

#集群健康详情
[root@ceph01 ~]# 
[root@ceph01 ~]# ceph health detail
HEALTH_OK
[root@ceph01 ~]# 

# ceph orch 是用来管理节点以及orch信息的
ceph orch ls

ceph orch ps   # ps 可以看到具体的进程，运行在拿个节点上，内存占用等，cephadm部署出来的集群是基于容器的